杨森:
   你好!对于Flink on yarn 模式 flink-conf.yaml中的配置如下:

 high-availability: zookeeper
 high-availability.zookeeper.quorum: cdh1:2181,cdh2:2181,cdh3:2181
 high-availability.storageDir: hdfs://cdh1:9000/flink/recovery
 high-availability.zookeeper.path.root: /flink
 state.backend: filesystem
 state.backend.fs.checkpointdir: hdfs://cdh1:9000/flink/checkpoints
 fs.hdfs.hadoopconf: /usr/local/hadoop-2.7.4/etc/hadoop
yarn-site.xml中的配置如下:

 <property>
 <name>yarn.resourcemanager.am.max-attempts</name>
 <value>4</value>
 </property>
以上的默认配置,你也可以在程序中配置,默认配置和程序都配置试试。

            如图看到Attempt ID由000001变为000002,进程也有所变化,,说明HA切换成功了。
     希望这些内容帮助到你。
      Best,
      韩非


------------------------------------------------------------------
发件人:孙森 <[email protected]>
发送时间:2019年3月4日(星期一) 18:41
收件人:user-zh <[email protected]>
主 题:jobmanager重启之后,job没有重启

大家好:
          有配置过flink ha吗?我配置了yarn高可用之后,kill掉job manager 
之后,jobmanager可以成功重启,但是yarn 
session上正在运行的job并没有重启。我程序是开启了checkpoint的。有谁遇到过吗?是我配置的问题还是什么原因?

附上高可用配置:

high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: h1:2181,h2:2181,h3:2181
high-availability.zookeeper.path.root: /flink
yarn.application-attempts: 2


Thanks!


回复