Hi, ResumeToken[1] can be considered globally unique[2].
Best, Jiabao [1] https://www.mongodb.com/docs/manual/changeStreams/#resume-tokens [2] https://img.alicdn.com/imgextra/i4/O1CN010e81SP1vkgoyL0nhd_!!6000000006211-0-tps-2468-1360.jpg On 2024/01/22 09:36:42 "casel.chen" wrote: > > > > V1版本依赖于DebeziumSourceFunction，后者依赖于DebeziumEngine产生changelog > V2版本虽然依赖了 flink-connector-debezium 但没有用到debezium内部类 > > > 另外有一个问题：mongodb change stream断点续传用的resumeToken是像mysql binlog offset一样全局唯一么？ > 如果数据源是像kafka一样每个分片有binlog offset的话， > 是不是要在对应xxxOffset类中要定义一个Map类型的offsetField > (类似mongodb对应ChangeStreamOffset中的resumeTokenField)? > 当前mongodb中定义的是Json String类型 > > 在 2024-01-22 11:03:55，"Jiabao Sun" <ji...@xtransfer.cn.INVALID> 写道： > >Hi, > > > >Flink CDC MongoDB connector V1是基于 mongo-kafka 实现的，没有基于 debezium 实现。 > >Flink CDC MongoDB connector V2是基于增量快照读框架实现的，不依赖 mongo-kafka 和 debezium 。 > > > >Best, > >Jiabao > > > >[1] https://github.com/mongodb/mongo-kafka > > > > > >On 2024/01/22 02:57:38 "casel.chen" wrote: > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> Flink CDC MongoDB connector 还是基于debezium实现的 > >> > >> > >> > >> > >> > >> > >> > >> > >> 在 2024-01-22 10:14:32，"Jiabao Sun" <ji...@xtransfer.cn.INVALID> 写道： > >> >Hi, > >> > > >> >可以参考 Flink CDC MongoDB connector 的实现。 > >> > > >> >Best, > >> >Jiabao > >> > > >> > > >> >On 2024/01/22 02:06:37 "casel.chen" wrote: > >> >> 现有一种数据源不在debezium支持范围内，需要通过flink sql全增量一体消费，想着基于flink cdc > >> >> 3.x自行开发，查了一下现有大部分flink cdc source > >> >> connector都是基于debezium库开发的，只有oceanbase和tidb不是，但后二者用的source接口还是V1版本的，不是最新V2版本的incremental > >> >> snapshot，意味着全量阶段不支持checkpoint，如果作业失败需要重新从头消费。 > >> >> 想问一下有没有不基于debezium实现的V2版本source connector示例？谢谢！ > >> >
