回复:flink barrier对齐 理解

2020-05-17 文章 了不起的盖茨比
嗯嗯谢谢,我去看看 -- 原始邮件 -- 发件人: tison https://ci.apache.org/projects/flink/flink-docs-master/fig/stream_aligning.svg [2] https://ci.apache.org/projects/flink/flink-docs-master/concepts/stateful-stream-processing.html 了不起的盖茨比 <573693...@qq.com 于2020年5月17日周日

Re: flink barrier对齐 理解

2020-05-17 文章 tison
ask时候,需要等待不同subtask消费数据完毕,之后做checkpoint > > > > > > -- 原始邮件 ---------- > 发件人: Benchao Li 发送时间: 2020年5月17日 11:34 > 收件人: user-zh 主题: 回复:flink barrier对齐 理解 > > > > Hi, > > 我对这块不是非常了解,但是我理解的barrier对齐,指的是同一个Task的多个subtask之间对齐吧。 &

回复:flink barrier对齐 理解

2020-05-17 文章 了不起的盖茨比
我的理解是一条数据,会经过n个算子,只有这个数据到达最后一个算子计算完毕,才能checkpoint,否则会导致前几个算子state改变,但是这个数据的offset没有被提交,导致了重复消费数据。 -- 原始邮件 -- 发件人: Benchao Li

Re: flink barrier对齐 理解

2020-05-16 文章 Benchao Li
> 发件人: Benchao Li 发送时间: 2020年5月17日 11:34 > 收件人: user-zh 主题: 回复:flink barrier对齐 理解 > > > > Hi, > > 我对这块不是非常了解,但是我理解的barrier对齐,指的是同一个Task的多个subtask之间对齐吧。 > 比如你只有一个source,然后经过keyby之后做了其他的操作,那也是存在barrier对齐的。 > > 了不起的盖茨比 <573693...@qq.com 于2020年5月17日

回复:flink barrier对齐 理解

2020-05-16 文章 了不起的盖茨比
可以理解成,有多个subtask时候,需要等待不同subtask消费数据完毕,之后做checkpoint -- 原始邮件 -- 发件人: Benchao Li

Re: flink barrier对齐 理解

2020-05-16 文章 Benchao Li
Hi, 我对这块不是非常了解,但是我理解的barrier对齐,指的是同一个Task的多个subtask之间对齐吧。 比如你只有一个source,然后经过keyby之后做了其他的操作,那也是存在barrier对齐的。 了不起的盖茨比 <573693...@qq.com> 于2020年5月17日周日 上午11:29写道: > 请教一下,如果只有一个source,就不需要对齐了吧?只有source多个数据源时候才需要对齐? -- Benchao Li School of Electronics Engineering and Computer Science, Peking

flink barrier对齐 理解

2020-05-16 文章 了不起的盖茨比
请教一下,如果只有一个source,就不需要对齐了吧?只有source多个数据源时候才需要对齐?