Re: 基于savepoint重启作业无法保证端到端一致性
设计上是支持的. 建议贴上代码, 这样大家比较好判断问题所在. On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote: > 各位好！ > 目前有一flink作业，source与sink均为kafka。 > 在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。 > 现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。 > > 想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪里操作不当呢？ > > > > > > >
Re: 基于savepoint重启作业无法保证端到端一致性
指定了，依然无法保证。 > 在 2022年8月26日，下午5:28，gulugulucxg 写道： > > flinkKafkaProducer指定EXACTLY_ONCE语义了吗 > > > > > > > > > > > > > > > > > > 在 2022-08-26 16:50:33，"杨扬" 写道： >> kafka-2.4.1 >> flink-1.14.2 >> >> >> >> >>> 在 2022年8月26日，下午4:42，Hangxiang Yu 写道： >>> >>> flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的； >>> 你用的kafka是哪个版本？ >>> >>> On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote: >>> 各位好！ 目前有一flink作业，source与sink均为kafka。 在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。 现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。 想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪里操作不当呢？ >>> >>> -- >>> Best, >>> Hangxiang. >>> >>> === >>> 此邮件已由 Deep Discovery Email Inspector 进行了分析。 >> > > === > 此邮件已由 Deep Discovery Email Inspector 进行了分析。
Re:Re: 基于savepoint重启作业无法保证端到端一致性
flinkKafkaProducer指定EXACTLY_ONCE语义了吗 在 2022-08-26 16:50:33，"杨扬" 写道： >kafka-2.4.1 >flink-1.14.2 > > > > >> 在 2022年8月26日，下午4:42，Hangxiang Yu 写道： >> >> flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的； >> 你用的kafka是哪个版本？ >> >> On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote: >> >>> 各位好！ >>>目前有一flink作业，source与sink均为kafka。 >>>在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。 >>>现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。 >>> >>>想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪里操作不当呢？ >>> >>> >>> >>> >>> >>> >>> >> >> -- >> Best, >> Hangxiang. >> >> === >> 此邮件已由 Deep Discovery Email Inspector 进行了分析。 >
Re: 基于savepoint重启作业无法保证端到端一致性
kafka-2.4.1 flink-1.14.2 > 在 2022年8月26日，下午4:42，Hangxiang Yu 写道： > > flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的； > 你用的kafka是哪个版本？ > > On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote: > >> 各位好！ >>目前有一flink作业，source与sink均为kafka。 >>在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。 >>现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。 >> >>想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪里操作不当呢？ >> >> >> >> >> >> >> > > -- > Best, > Hangxiang. > > === > 此邮件已由 Deep Discovery Email Inspector 进行了分析。
Re: 基于savepoint重启作业无法保证端到端一致性
flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的； 你用的kafka是哪个版本？ On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote: > 各位好！ > 目前有一flink作业，source与sink均为kafka。 > 在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。 > 现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。 > > 想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪里操作不当呢？ > > > > > > > -- Best, Hangxiang.
基于savepoint重启作业无法保证端到端一致性
各位好！ 目前有一flink作业，source与sink均为kafka。 在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。 现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。 想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪里操作不当呢？
