--
Sender:jindy_liu<286729...@qq.com>
Date:2020/07/13 10:49:27
Recipient:
Theme:Re: Re: Re: Flink 多Sink 数据一致性保证
原理大概理解了，想自己实现一个。比如kafka与mysql的实现，并想最大程度的复用些代码。
看了下源码，感觉要把现在的connector（kafka，
jdbc）中的代码都看一下，然后扣出来，再去按twophasecommitsinkfunct
原理大概理解了，想自己实现一个。比如kafka与mysql的实现，并想最大程度的复用些代码。
看了下源码，感觉要把现在的connector（kafka，
jdbc）中的代码都看一下，然后扣出来，再去按twophasecommitsinkfunction的实现，重组一些代码，一个个方法实现。
另外问一下，好像现在源码里的jdbc只是at-least-once实现?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Re: Flink 多Sink 数据一致性保证
请问下，你这个最后是怎么做到的，能share下源码吗？
是需要将两个sink合并到一个sink里，然后再实现下二阶段提交吗？
我也遇到个多sink的原子性场景。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
请问下，你这个最后是怎么做到的，能share下源码吗？
是需要将两个sink合并到一个sink里，然后再实现下二阶段提交吗？
我也遇到个多sink的原子性场景。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
看了一下 TwoPhaseCommitSinkFunction ,因为我测试的时候是自己写的Sink，没有继承这个Sink去实现，所以是我的问题。谢谢
xueaohui_...@163.com
发件人： xueaohui_...@163.com
发送时间： 2020-06-20 09:54
收件人： user-zh
抄送： yungao.gy >
主题： Re: Re: Flink 多Sink 数据一致性保证
Hello：
我手动试了一下，一个Sink的抛异常是不会影响另外一个Sink的写入的。
引用： 按二阶段提交的逻辑，这种情况下kafka
下面这个是一个单独的问题；我想说的是逻辑上hbase写挂导致failover的时候kafka应该会abort掉当前事务，但是反过来kafka写错的时候，hbase这边应该没有办法不写入的，如果按现在的默认实现的话。
--
Sender:Yun Gao
Date:2020/06/20 10:42:23
Recipient:xueaohui_...@163.com;
user-zh
Theme:Re: Re: Re: Flink 多Sink 数据一致性保证
--
Sender:xueaohui_...@163.com
Send Date:Sat Jun 20 09:54:59 2020
Recipients:user-zh
CC:yungao.gy
Subject:Re: Re: Flink 多Sink 数据一致性保证
Hello：
我手动试了一下，一个Sink的抛异常是不会影响另外一个Sink的写入的。
引用： 按二阶段提交的逻辑，这种情况下kafka这边的事务也会被abort掉，数据不会真正写入。
这个是需要手动开启吗？
xueaohui_...@163.com
发件人
Hi
能不能描述一下你是什么样的场景下才会需要到多sink一致性保证？
可不可以换一下思路，选择只出kafka的数据，然后把kafka数据实时同步hbase。
Best,
Yichao Yang
发自我的iPhone
-- 原始邮件 --
发件人: xueaohui_...@163.com
Hello：
我手动试了一下，一个Sink的抛异常是不会影响另外一个Sink的写入的。
引用： 按二阶段提交的逻辑，这种情况下kafka这边的事务也会被abort掉，数据不会真正写入。
这个是需要手动开启吗？
xueaohui_...@163.com
发件人： yunyungao...@aliyun.com>Gao
发送时间： 2020-06-19 15:21
收件人： xueaohui_...@163.com; user-zh
主题： Re: Flink 多Sink 数据一致性保证
Hello，
我理解多个sink的情况下，数
Hello，
我理解多个sink的情况下，数据保证写入仍然发生在数据写入后的checkpoint完成，如果写入Hbase这边写入失败的时候会触发failover的话，按二阶段提交的逻辑，这种情况下kafka这边的事务也会被abort掉，数据不会真正写入。
--Original Mail --
Sender:xueaohui_...@163.com
Send Date:Thu Jun 18 19:39:46 2020
Recipients:user-zh
Subject:Flink 多Sink 数据一致性保证
如上图所示，目前通过把作业加入多个sink，这种场景下面当hbase写入的失败的时候，不影响kakfa的写入。期望hbase写入失败，kafka也不发送。
如何保证hbase和kafka的写入为原子性呢？
不知道flink是否有多sink的二阶段提交方案。
xueaohui_...@163.com
11 matches
Mail list logo
