Re: flink精准一次性消费问题

Thu, 11 Jun 2020 04:01:01 -0700 

>checkpoint的配置有什么要求吗？

配成 EXACTLY_ONCE

>还有就是kafka的事务提交多久能提交一次，可配置吗？

chk 的时候提交，这里面深究的话有点并发问题，可以看 TwoPhaseCommitSink 的细节
配置这个事儿...有能力自定义，但是为啥要这么做呢呢

Best,
tison.


蒋佳成(Jiacheng Jiang) <920334...@qq.com> 于2020年6月11日周四 下午4:59写道：

> checkpoint完成通知里提交的事务
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人: "胡云川"<huyunchuan1...@foxmail.com&gt;;
> 发送时间: 2020年6月11日(星期四) 下午4:56
> 收件人: "user-zh"<user-zh@flink.apache.org&gt;;
> 主题: 回复：flink精准一次性消费问题
>
>
>
> &amp;gt;Hi
> &amp;gt;这些问题都已经排查过了，
> &amp;gt;有一个问题，在做exctly-once的时候，
> &amp;gt;checkpoint的配置有什么要求吗？
> &amp;gt;还有就是kafka的事务提交多久能提交一次，可配置吗？
> &amp;gt;望解答，谢谢各位！
>
>
>
>
>
>
> ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> 发件人:&amp;nbsp;"Matt Wang"<wang...@163.com&amp;gt;;
> 发送时间:&amp;nbsp;2020年6月10日(星期三) 晚上7:39
> 收件人:&amp;nbsp;"user-zh@flink.apache.org"<user-zh@flink.apache.org&amp;gt;;
>
> 主题:&amp;nbsp;Re:flink精准一次性消费问题
>
>
>
> kafka 从 0.11.0 开始支持事务写，在 flink 中如果开启了 EXACTLY-ONCE，数据会先 send 到 kafka，但在未调用
> commit 之前，这部分数据是数据是属于未完成事务的数据，站在 kafka
> 的角度，数据还是会存储下来的，只不过下游在消费的时候，根据&amp;nbsp; isolation.level 设置来决定是否能消费到未 commit
> 的数据。
>
>
> ---
> Best,
> Matt Wang
>
>
> On 06/10/2020 14:28，Yichao Yang<1048262...@qq.com&amp;gt; wrote：
> Hi
>
>
> sink&amp;amp;nbsp;
> 为kafka时，需要kafka版本大于1.0，并且kafka端也要开启两阶段提交功能才能满足EXACTLY-ONCE。可以检查下你的配置是否都满足。
>
>
> Best,
> Yichao Yang
>
>
>
>
> ------------------&amp;amp;nbsp;原始邮件&amp;amp;nbsp;------------------
> 发件人:&amp;amp;nbsp;"胡云川"<huyunchuan1...@foxmail.com&amp;amp;gt;;
> 发送时间:&amp;amp;nbsp;2020年6月10日(星期三) 下午2:25
> 收件人:&amp;amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;amp;gt;;
>
> 主题:&amp;amp;nbsp;flink精准一次性消费问题
>
>
>
> &amp;amp;amp;gt;Hi,
> &amp;amp;amp;gt;在使用flink往kafka写入数据时，使用了EXACTLY-ONCE，但是
>
> &amp;amp;amp;gt;在debug测试的时候，发现数据在invoke方法里的traction.producer.send()的时候数据就已经传过去了，没有通过precommit和commit方法
> &amp;amp;amp;gt;请问大家可以解释一下吗？谢谢！

回复