Re: 谁能解释一下 GlobalStreamExchangeMode 这几种交换模式的不同和使用场景吗?

2022-01-11 文章 Chang Li
在生产环境中使用Flink是批示作业是OK的,不是很依赖Flink Remote Shuffle Service Flink Remote Shuffle Service 主要解决大数据量Shuffle场景下的稳定性,目前Batch会将Shuffle的结果写本地磁盘,数量大的时候会容易将磁盘写满,稳定性也相对比较差 casel.chen 于2021年12月2日周四 08:26写道: > GlobalStreamExchangeMode 这几种交换模式的不同和使用场景是什么?哪些适合流式作业,哪些适合批式作业? > Flink Remote Shuffle

Re: 谁能解释一下 GlobalStreamExchangeMode 这几种交换模式的不同和使用场景吗?

2021-12-01 文章 Yingjie Cao
这个是可以直接控制内部连边的方式,可以参考一下这个的Java doc。不过这个是一个内部接口,还是建议使用 env.setRuntimeMode(RuntimeExecutionMode.BATCH),这个可以参考一下这个文档: https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/execution_mode/ 。 public enum GlobalStreamExchangeMode { /** Set all job edges to be {@link

谁能解释一下 GlobalStreamExchangeMode 这几种交换模式的不同和使用场景吗?

2021-12-01 文章 casel.chen
GlobalStreamExchangeMode 这几种交换模式的不同和使用场景是什么?哪些适合流式作业,哪些适合批式作业? Flink Remote Shuffle Service的推出是不是意味着可以在生产环境使用Flink处理批式作业?谢谢! package org.apache.flink.streaming.api.graph; import org.apache.flink.annotation.Internal; @Internal public enum GlobalStreamExchangeMode {