现在使用阿里云oss作为状态存储后端。发现业务数据无法在checkpoint中回放,重点代码如下: main: sink 算子:
checkpoint时将业务数据存入oss 重启后应该从最近checkpoint中将数据回放 以上代码在直接跑在虚拟机上的作业(状态存储是本地硬盘)是没问题的,业务数据能够从检查点中回放的 但是一旦使用k8s-oss体系, 检查点业务数据存入没问题 但我将作业重启后 由于context.isRestored()是false,所以无法将重启前作业的业务数据回放,导致数据丢失。 还请各位大佬帮忙看看,谢谢谢~~~~~~~