感谢,目前也是通过打开checkpoint来改进的,待会测试一下看看是不是可以
-----邮件原件----- 发件人: Benchao Li [mailto:[email protected]] 发送时间: 2020年8月26日 星期三 12:59 收件人: user-zh <[email protected]> 主题: Re: 关于sink失败 不消费kafka消息的处理 这种情况需要打开checkpoint来保证数据的不丢。如果sink没有两阶段提交,那就是at least once语义。 范超 <[email protected]> 于2020年8月26日周三 上午11:38写道: > 大家好,我现在有个疑问 > 目前我使用kafka作为source,经过计算以后,将结果sink到数据库; > > 后来日志数据库发生了timeout或者宕机,kafka这边的主题,却消费掉了造成了数据丢失,那么如何设置才可以确认在sink失败的时候,不提交kafka的消费位移呢? > > > 多谢大家了 > > 范超 > -- Best, Benchao Li
