Re: flink batch on yarn任务容错

Mon, 29 Jun 2020 19:26:58 -0700 

Hi，

1.10后的Flink是支持单task的failover的，(需要batch shuffle和region调度)

所以容错粒度是基于单task。
批作业的Failover模型和流是不一样的。它就是基于单task，如果想要达到较好的容错，可以开更大的并行度，这样单task执行的时间会越短，failover效率也就会越高。

Best,
Jingsong

On Tue, Jun 30, 2020 at 9:41 AM 张波 <[email protected]> wrote:

> hi，zhisheng 使用stream是否可以使任务因为单个tm失败的情况下，只重启这个tm，而非重启整个任务?
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:&nbsp;&quot;zhisheng&quot;<[email protected]&gt;
> 发送时间:&nbsp;2020年6月30日(星期二) 上午8:47
> 收件人:&nbsp;&quot;user-zh&quot;<[email protected]&gt;;
> 主题:&nbsp;Re: flink batch on yarn任务容错



-- 
Best, Jingsong Lee

回复