回复:flink barrier对齐 理解

2020-05-17 文章 了不起的盖茨比
嗯嗯谢谢,我去看看 -- 原始邮件 -- 发件人: tison https://ci.apache.org/projects/flink/flink-docs-master/fig/stream_aligning.svg [2] https://ci.apache.org/projects/flink/flink-docs-master/concepts/stateful-stream-processing.html 了不起的盖茨比 <573693...@qq.com 于2020年5月17日周日

回复:flink barrier对齐 理解

2020-05-17 文章 了不起的盖茨比
我的理解是一条数据,会经过n个算子,只有这个数据到达最后一个算子计算完毕,才能checkpoint,否则会导致前几个算子state改变,但是这个数据的offset没有被提交,导致了重复消费数据。 -- 原始邮件 -- 发件人: Benchao Li

回复:flink barrier对齐 理解

2020-05-16 文章 了不起的盖茨比
可以理解成,有多个subtask时候,需要等待不同subtask消费数据完毕,之后做checkpoint -- 原始邮件 -- 发件人: Benchao Li