sourcr:mysql-cdc
sink:elasticsearch

问题描述:
从mysql中同步表数据至elasticsearch后,进行新增再删除的某条数据出现问题,导致sink失败(没加primary
key)。checkpoint失败,程序自动恢复重启后,checkpoint 成功,但是elasticsearch 中的数据是mysql
表中的两倍,出现重复同步情况。
程序的自动恢复不应该是从当前checkpoint 中记录的binlog 位置再同步么?为什么会再重头同步一次呢?
(ddl 中写死了server-id,
                "  'table-name' = '"+ table +"'," +
                "  'server-id' = '"+ serverId +"'" + )


日志:






--
Sent from: http://apache-flink.147419.n8.nabble.com/

回复