在生产环境中使用Flink是批示作业是OK的,不是很依赖Flink Remote Shuffle Service
Flink Remote Shuffle Service
主要解决大数据量Shuffle场景下的稳定性,目前Batch会将Shuffle的结果写本地磁盘,数量大的时候会容易将磁盘写满,稳定性也相对比较差

casel.chen <casel_c...@126.com> 于2021年12月2日周四 08:26写道:

> GlobalStreamExchangeMode 这几种交换模式的不同和使用场景是什么?哪些适合流式作业,哪些适合批式作业?
> Flink Remote Shuffle Service的推出是不是意味着可以在生产环境使用Flink处理批式作业?谢谢!
>
>
> package org.apache.flink.streaming.api.graph;
>
>
>
>
> import org.apache.flink.annotation.Internal;
>
>
>
>
> @Internal
>
> public enum GlobalStreamExchangeMode {
>
>     ALL_EDGES_BLOCKING,
>
>     FORWARD_EDGES_PIPELINED,
>
>     POINTWISE_EDGES_PIPELINED,
>
>     ALL_EDGES_PIPELINED,
>
>     ALL_EDGES_PIPELINED_APPROXIMATE;
>
>
>
>
>     private GlobalStreamExchangeMode() {
>
>     }
>
> }
>
>
>

回复