多个sink如果都按TwoPhaseCommitSinkFunction来做的话,是可以实现多sink一致性的。大体上可以认为只要有一个sink出错,整个作业都会failover,其它sink当前的事务也会跟着abort掉,然后整个作业回退到上一次checkpoint开始执行。


------------------------------------------------------------------
Sender:jindy_liu<[email protected]>
Date:2020/07/09 10:55:35
Recipient:<[email protected]>
Theme:Re: Re: Flink 多Sink 数据一致性保证

请问下,你这个最后是怎么做到的,能share下源码吗?
是需要将两个sink合并到一个sink里,然后再实现下二阶段提交吗?
我也遇到个多sink的原子性场景。



--
Sent from: http://apache-flink.147419.n8.nabble.com/

回复