Hello ,针对于你的问题 我发现一件有趣的事情 在我以 Yarn per-Job 方式 启动Job程序后 在yarn 的资源管理界面 可以看到我启动的任务 -> 它有属于自己的application-Id 然后当我 通过Yarn 的Tracking Ui 下的 Application <http://node01:8088/proxy/application_1577499691717_0064/>Master 点击进入到Job的Web Ui 界面后(flink的web ui)通过在此界面点击canal 这个按钮 kill 掉程序后 在Yarn 的 管理界面 发现还是有个空壳子的。 当我通过在终端输入 yarn application -kill Id 后 这个程序才会被杀死。 所以我初步认为 他是Stop 程序。 😀 祝好! Px
amen...@163.com <amen...@163.com> 于2020年1月10日周五 下午5:59写道: > hi,了解到使用stop进行任务停止并触发savepoint,会在停止之前生成max_watermark,并注册event-time计时器,我想请问使用yarn > kill方式直接停止任务,会属于cancel还是stop亦或是其他? > > > > amen...@163.com > > From: Congxian Qiu > Date: 2020-01-10 17:16 > To: user-zh > Subject: Re: flink savepoint checkpoint > Hi > 从 Flink 的角度看,Checkpoint 用户 Job 运行过程中发生 failover 进行恢复,savepoint 用于 Job > 之间的状态复用。 > 另外,从 1.9 开始,可以尝试下 StopWithSavepoint[1],以及社区另外一个 issue 尝试做 > StopWithCheckpoint[2] > > [1] https://issues.apache.org/jira/browse/FLINK-11458 > [2] https://issues.apache.org/jira/browse/FLINK-12619 > Best, > Congxian > > > zhisheng <zhisheng2...@gmail.com> 于2020年1月10日周五 上午11:39写道: > > > hi,这个参数我理解的作用应该是:作业取消的时候是否清除之前的 checkpoint,但这个 checkpoint > > 的并不一定是作业最新的状态。而如果你取消命令的时候触发一次 savepoint,那么这次的状态就是最新且最全的。 > > > > 祝好! > > zhisheng > > > > Px New <15701181132mr....@gmail.com> 于2020年1月10日周五 上午10:58写道: > > > > > Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点 > > > --> > > > > > > > > > > > > env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); > > > > > > > > > lucas.wu <lucas...@xiaoying.com> 于2019年12月11日周三 上午11:56写道: > > > > > > > hi 各位: > > > > > > > > > > > > > > 有个问题想和大家讨论一下,就是flink的savepoint为什么要设置成手动的?如果在stop程序的时候没有做savepoint的话,在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式,定时做checkpoint,然后启动的时候指定ck地址就可以从上次执行的地方继续执行。 > > > > > >