Re: 一系列关于基于状态重启任务的问题

2020-08-10 文章 Congxian Qiu
hi 1 checkpoint/savepoint 可以理解为将 状态备份到远程存储,恢复的时候会通过 operator 的 uid 来恢复 state,如果你确定不希望某些 operator 的 state 不进行恢复的话,或者使用不同的 uid 可以达到你的需求,具体的可以看一下这个文档的内容[1] 2 合并的时候如果想把 savepoint/checkpoint 用起来,还是需要修改 checkpoint/savepoint 的内容,或者你可以试试 state processor api[2] [1] https://ci.apache.org/projects/fli

一系列关于基于状态重启任务的问题

2020-08-10 文章 Zhao,Yi(SEC)
请教几个关于基于状态重启的问题。 问题1:基于检查点/保存点启动时候能否指定部分结点不使用状态。 为什么有这么个需求呢,下面说下背景。 任务A:5分钟粒度的统计PV,使用event time,每10s一次触发更新到数据库。 任务B:天级别任务,利用了状态。 如上任务A和B,我整合为一个大任务提交到flink执行。假设有某种场景下,某些数据错误等,我需要做修复等。并且修复方案需要能做到:从指定时间开始运行(这个是我基于kafkaSouce设置开始时间实现),同时配合一个时间范围过滤算子实现。但是flink如果基于状态重启,则kafkaSouce的offset会基于状态中的offset来做,而不