您好:
我确认我们两台mysql备库都开启了gtid选项,并且该问题我们进行了复现,复现步骤如下:
flink版本 1.14.5
flink-connector-mysql-cdc版本 2.2.0
mysql版本 5.6.0
1.准备两台备库,并且binlog文件名相差很远没有交集
2.采集第一台备库,等待数据正常写入后,停止该cdc采集任务,正常保存savepoint
3.修改采集mysql的配置信息为备库2,并且将flink任务正常从savepoint启动,就会出现上述反馈的问题
在 2024-01-19
Hi,
Flink CDC MongoDB connector V1是基于 mongo-kafka 实现的，没有基于 debezium 实现。
Flink CDC MongoDB connector V2是基于增量快照读框架实现的，不依赖 mongo-kafka 和 debezium 。
Best,
Jiabao
[1] https://github.com/mongodb/mongo-kafka
On 2024/01/22 02:57:38 "casel.chen" wrote:
>
>
>
>
>
>
>
>
>
> Flink CDC MongoDB
Flink CDC MongoDB connector 还是基于debezium实现的
在 2024-01-22 10:14:32，"Jiabao Sun" 写道：
>Hi,
>
>可以参考 Flink CDC MongoDB connector 的实现。
>
>Best,
>Jiabao
>
>
>On 2024/01/22 02:06:37 "casel.chen" wrote:
>> 现有一种数据源不在debezium支持范围内，需要通过flink sql全增量一体消费，想着基于flink cdc
>>
Hi,
可以参考 Flink CDC MongoDB connector 的实现。
Best,
Jiabao
On 2024/01/22 02:06:37 "casel.chen" wrote:
> 现有一种数据源不在debezium支持范围内，需要通过flink sql全增量一体消费，想着基于flink cdc
> 3.x自行开发，查了一下现有大部分flink cdc source
> connector都是基于debezium库开发的，只有oceanbase和tidb不是，但后二者用的source接口还是V1版本的，不是最新V2版本的incremental
>
现有一种数据源不在debezium支持范围内，需要通过flink sql全增量一体消费，想着基于flink cdc
3.x自行开发，查了一下现有大部分flink cdc source
connector都是基于debezium库开发的，只有oceanbase和tidb不是，但后二者用的source接口还是V1版本的，不是最新V2版本的incremental
snapshot，意味着全量阶段不支持checkpoint，如果作业失败需要重新从头消费。
想问一下有没有不基于debezium实现的V2版本source connector示例？谢谢！
Thanks Leonard for the feedback! Also thanks @Jark Wu
@Chesnay
Schepler and each and everyone who worked closely with
me for this release. We made it together!
Best regards,
Jing
On Sun, Jan 21, 2024 at 9:25 AM Leonard Xu wrote:
> Thanks Jing for driving the release, nice work!
>
> Thanks
Thanks Jing for driving the release, nice work!
Thanks all who involved this release!
Best,
Leonard
> 2024年1月20日 上午12:01，Jing Ge 写道：
>
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.18.1, which is the first bugfix release for the Apache Flink 1.18
>
