现在使用阿里云oss作为状态存储后端。发现业务数据无法在checkpoint中回放,重点代码如下:
main:
sink 算子:


checkpoint时将业务数据存入oss


重启后应该从最近checkpoint中将数据回放
以上代码在直接跑在虚拟机上的作业(状态存储是本地硬盘)是没问题的,业务数据能够从检查点中回放的


但是一旦使用k8s-oss体系,
检查点业务数据存入没问题


但我将作业重启后


由于context.isRestored()是false,所以无法将重启前作业的业务数据回放,导致数据丢失。
还请各位大佬帮忙看看,谢谢谢~~~~~~~





回复