想知道flink如何定义“任务结束”?一段时间没有数据进来吗?这个能配置么? 我有一个补数的场景,因为某些原因造成线上数据同步作业中断,重新拉起后为了实效性从当前最新位置恢复,所以中间有一段空缺需要通过批作业来弥补。 请问这种场景要如何实现flink sql或api来实现呢?假设知道需要补数的时间位点(timestamp或offset)。谢谢!
在 2021-06-15 16:24:08,"Yang Wang" <[email protected]> 写道: >Native Flink on K8s是可以运行batch任务的,目前还是用的K8s Deployment来管理JobManager。当任务结束以后, >会自动deregister整个Flink Application,此时会清理掉所有的K8s资源。 > >如果你想在结束后查看任务相关的一些信息,可以部署一个history server,并配置给batch任务 > > >Best, >Yang > >casel.chen <[email protected]> 于2021年6月13日周日 上午12:18写道: > >> 我们知道flink on 原生kubernetes当前是用k8s deployment运行一个流作业的,请问会用k8s job运行一个批作业吗?
