Re: Flink应用高可靠

2022-07-25 文章 Zhanghao Chen
冷备部署的话可以通过一个外围的作业管控服务定期做 savepoint 并拷贝到另一条链路的 HDFS 集群上,故障时从另一条链路重启作业即可。

Best,
Zhanghao Chen

From: andrew <15021959...@163.com>
Sent: Monday, July 25, 2022 10:05:39 PM
To: user-zh 
Subject: Flink应用高可靠

Dear Flink:
  你好! 
现有一个需求,Flink实时计算平台任务对下游用户很重要,不能出问题。单位准备搭建一套灾备大数据实时集群(kakfa/yarn/hdfs)去部署相同的Flink任务,做应用热备或冷备部署!
 下游业务系统没有做双活热备部署! 疑问是:
   1.  主集群故障,切换灾备集群
  涉及有大量带中间状态的数据实时应用一旦主集群出问题,灾备集群如何同步最新状态的数据进行计算
   2.  主集群若恢复,灾备集群切换后的正常任务如何做数据回迁处理


针对上述需求,社区有没有案例可以提供测试验证!谢谢


Flink应用高可靠

2022-07-25 文章 andrew
Dear Flink:
  你好! 
现有一个需求,Flink实时计算平台任务对下游用户很重要,不能出问题。单位准备搭建一套灾备大数据实时集群(kakfa/yarn/hdfs)去部署相同的Flink任务,做应用热备或冷备部署!
 下游业务系统没有做双活热备部署! 疑问是:
   1.  主集群故障,切换灾备集群
  涉及有大量带中间状态的数据实时应用一旦主集群出问题,灾备集群如何同步最新状态的数据进行计算
   2.  主集群若恢复,灾备集群切换后的正常任务如何做数据回迁处理


针对上述需求,社区有没有案例可以提供测试验证!谢谢