之前一直使用streaming api,这两天开始使用sql。 有个疑问,flink sql cdc读取mysql的数据时候,会处理 全量 + 增量数据。 那么如果同一个任务上线后,后续有变化,修改后再次上线,这个时候我并不希望处理之前过的数据。这个时候是怎么做呢?
cdc里面有进行state保存消费过的changelog的位置吗?这样我重新上线的时候从savepoint或者checkpoint进行恢复,是不是就可以了? 感谢! [email protected]
之前一直使用streaming api,这两天开始使用sql。 有个疑问,flink sql cdc读取mysql的数据时候,会处理 全量 + 增量数据。 那么如果同一个任务上线后,后续有变化,修改后再次上线,这个时候我并不希望处理之前过的数据。这个时候是怎么做呢?
cdc里面有进行state保存消费过的changelog的位置吗?这样我重新上线的时候从savepoint或者checkpoint进行恢复,是不是就可以了? 感谢! [email protected]