感谢 Venn -----邮件原件----- 发件人: venn [mailto:[email protected]] 发送时间: 2020年8月26日 星期三 18:57 收件人: [email protected] 主题: RE: 关于sink失败 不消费kafka消息的处理
可以参考下这个： https://www.cnblogs.com/bethunebtj/p/9168274.html#5-%E4%B8%BA%E6%89%A7%E8%A1%8C%E4%BF%9D%E9%A9%BE%E6%8A%A4%E8%88%AAfault-tolerant%E4%B8%8E%E4%BF%9D%E8%AF%81exactly-once%E8%AF%AD%E4%B9%89 -----Original Message----- From: [email protected] <[email protected]> On Behalf Of 范超 Sent: Wednesday, August 26, 2020 2:42 PM To: [email protected] Subject: 答复: 关于sink失败 不消费kafka消息的处理 您好 BenChao ,不知道是否有可以参考的两阶段提交的Flink 实例或者文档资料 -----邮件原件----- 发件人: Benchao Li [mailto:[email protected]] 发送时间: 2020年8月26日 星期三 12:59 收件人: user-zh <[email protected]> 主题: Re: 关于sink失败 不消费kafka消息的处理 这种情况需要打开checkpoint来保证数据的不丢。如果sink没有两阶段提交，那就是at least once语义。 范超 <[email protected]> 于2020年8月26日周三 上午11:38写道： > 大家好，我现在有个疑问 > 目前我使用kafka作为source，经过计算以后，将结果sink到数据库； > > 后来日志数据库发生了timeout或者宕机，kafka这边的主题，却消费掉了造成了数据丢失，那么如何设置才可以确认在sink失败的时候，不提交kafka的消费位移呢？ > > > 多谢大家了 > > 范超 > -- Best, Benchao Li
