Re: Re: Flink与Yarn的状态一致性问题

2020-11-12 文章 JasonLee
hi 把 -d 参加加上用分离方式启动 应该就可以了 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re: Flink与Yarn的状态一致性问题

2020-11-12 文章 amen...@163.com
我启动的时候是没有加-d参数的,启动之后execution.attached的值是true,execution.target值是yarn-per-job best, amenhub 发件人: amen...@163.com 发送时间: 2020-11-13 11:30 收件人: user-zh 主题: Re: Re: Flink与Yarn的状态一致性问题 hi 1.确定提交的是Per-job模式,提交命令是./bin/flink run -m yarn-cluster xxx,并且从Flink web ui中的Job Manager -> Configuration观察到exe

Re: Re: Flink与Yarn的状态一致性问题

2020-11-12 文章 amen...@163.com
我启动的时候是没有加-d参数的,启动之后execution.attached的值是true,execution.target值是yarn-per-job best, amenhub 发件人: amen...@163.com 发送时间: 2020-11-13 11:30 收件人: user-zh 主题: Re: Re: Flink与Yarn的状态一致性问题 hi 1.确定提交的是Per-job模式,提交命令是./bin/flink run -m yarn-cluster xxx,并且从Flink web ui中的Job Manager -> Configuration观察到exe

Re: Re: Flink与Yarn的状态一致性问题

2020-11-12 文章 JasonLee
hi 从你的描述看确实起的是per-job模式,per-job模式目前应该是没有这个问题的.可以再看下你的UI上execution.attached 的值是什么吗? 再有启动任务的时候是否加了 -d 参数 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re: Flink与Yarn的状态一致性问题

2020-11-12 文章 amen...@163.com
hi 1.确定提交的是Per-job模式,提交命令是./bin/flink run -m yarn-cluster xxx,并且从Flink web ui中的Job Manager -> Configuration观察到execution.target值为yarn-per-job 2.整体任务状态为Failed,但是TM挂了,JM没有挂(没有挂的原因猜测是因为Yarn application还在Running的原因吧?所以还能从Job Manager -> logs查看失败日志内容) best, amenhub 发件人: JasonLee 发送时间: 2020-11-13 1

Re: Re: Flink与Yarn的状态一致性问题

2020-11-12 文章 amen...@163.com
hi 1.确定提交的是Per-job模式,提交命令是./bin/flink run -m yarn-cluster xxx,并且从Flink web ui中的Job Manager -> Configuration观察到execution.target值为yarn-per-job 2.整体任务状态为Failed,但是TM挂了,JM没有挂(没有挂的原因猜测是因为Yarn application还在Running的原因吧?所以还能从Job Manager -> logs查看失败日志内容) best, amenhub 发件人: JasonLee 发送时间: 2020-11-13 1

Re: Re: Flink与Yarn的状态一致性问题

2020-11-12 文章 amen...@163.com
>>>当然,在 FLINK 察觉自己 FAILED 到上报给 YARN 是有一定的时延的,也有可能因为网络等问题上报失败。 按照这个说法,应当是偶发性行为,然而我一直等待Flink上报,大概几个小时过去了Yarn状态仍然处于Running.. >>>你这个是短暂的不一致时间窗口,还是说 FLINK 集群已经退了,YARN 的状态还没有变化呢? 这个话没有看懂,我的提交方式是./bin/flink run -m yarn-cluster xxx,Flink版本是1.11.1 昨天在社区邮件里发现了Flink-1.10以前可以通过-d参数解决Per-job模式下Flink web ui状态