Re: 从Savepoint/Checkpoint恢复时 keyedstate中部分数据无法被读取

2020-09-06 文章 Liu Rising
Hi 唐云 以下是state定义以及初始化的code public class FlinkKeyedProcessFunction extends KeyedProcessFunction, Tuple2> { private static final Logger LOG = LoggerFactory.getLogger(FlinkKeyedProcessFunction.class);   ... private final ParameterTool params; private transient ListState

Re: 从Savepoint/Checkpoint恢复时 keyedstate中部分数据无法被读取

2020-09-03 文章 Liu Rising
Hi 找到原因了。 问题在于在定义ListState时使用了transient关键字,如下。 private transient ListState state; 去掉了transient之后,问题解决。 虽然不太清粗为何transient会造成这种情况。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

从Savepoint/Checkpoint恢复时 keyedstate中部分数据无法被读取

2020-09-02 文章 Liu Rising
版本: 1.9 问题: 当从savepoint或者checkpoint恢复flink job时,发现部分keyedState中的数据丢失。 这里我们使用的是ListState,里面存储的是ObjectNode(Jackson DataBinding)类型的对象。 查log发现部分key的 listState.get() 返回空的iterator。 然而使用State Process API确认State的内容时, 发现上述这些key对应的数据是存在于State中的。 求问各位大佬这种情况是怎么回事?应该如何排查 谢谢 -- Sent from: