Thanks for help
----
??:"Jingsong Li"
重启这个tm,而非重启整个任务?
> --原始邮件--
> 发件人:zhisheng 发送时间:2020年6月30日(星期二) 上午8:47
> 收件人:user-zh 主题:Re: flink batch on yarn任务容错
--
Best, Jingsong Lee
hi??zhisheng
stream??tmtm???
----
??:zhisheng
hi,张波,
使用 Checkpoint 的方式在遇到错误的时候会 failover,恢复的时候是从上一次完整 Checkpoint
的状态开始恢复,不会让你重新从最开始的数据开始读取计算。
Best !
zhisheng
张波 <173603...@qq.com> 于2020年6月29日周一 下午10:06写道:
> 场景如下:
> flink批处理中,如果出现错误,包括网络及其他原因,导致任务失败,此时会将整个任务重新跑一遍,就算只是其中一个tm出现了问题也是如此。
> 我有一个sink
>
场景如下:
flink批处理中,如果出现错误,包括网络及其他原因,导致任务失败,此时会将整个任务重新跑一遍,就算只是其中一个tm出现了问题也是如此。
我有一个sink
es的操作,由于数据量大,将其分拆成一个独立的batch任务,但是只要中间有导致tm挂掉的错误(非任务本身逻辑问题),任务就会从头执行,感觉非常不友好。
问题:是否可以用streamsink的方式,使用checkpoint来解决批处理整个重启的问题?或者在10甚至之后的版本有新的解决方式?