?????? flink batch on yarn????????

2020-06-30 文章 ????
Thanks for help ---- ??:"Jingsong Li"

Re: flink batch on yarn任务容错

2020-06-29 文章 Jingsong Li
重启这个tm,而非重启整个任务? > --原始邮件-- > 发件人:zhisheng 发送时间:2020年6月30日(星期二) 上午8:47 > 收件人:user-zh 主题:Re: flink batch on yarn任务容错 -- Best, Jingsong Lee

?????? flink batch on yarn????????

2020-06-29 文章 ????
hi??zhisheng stream??tmtm??? ---- ??:zhisheng

Re: flink batch on yarn任务容错

2020-06-29 文章 zhisheng
hi,张波, 使用 Checkpoint 的方式在遇到错误的时候会 failover,恢复的时候是从上一次完整 Checkpoint 的状态开始恢复,不会让你重新从最开始的数据开始读取计算。 Best ! zhisheng 张波 <173603...@qq.com> 于2020年6月29日周一 下午10:06写道: > 场景如下: > flink批处理中,如果出现错误,包括网络及其他原因,导致任务失败,此时会将整个任务重新跑一遍,就算只是其中一个tm出现了问题也是如此。 > 我有一个sink >

flink batch on yarn任务容错

2020-06-29 文章 张波
场景如下: flink批处理中,如果出现错误,包括网络及其他原因,导致任务失败,此时会将整个任务重新跑一遍,就算只是其中一个tm出现了问题也是如此。 我有一个sink es的操作,由于数据量大,将其分拆成一个独立的batch任务,但是只要中间有导致tm挂掉的错误(非任务本身逻辑问题),任务就会从头执行,感觉非常不友好。 问题:是否可以用streamsink的方式,使用checkpoint来解决批处理整个重启的问题?或者在10甚至之后的版本有新的解决方式?