Re: Canal-json格式下乱码导致结果不符合预期

[Feng Jin]

hi

这个看起来不像是乱码造成的。

你可以尝试加上去重，还原出正确的CDC 再看下结果。

具体步骤如下：
1. 给 source 设置主键
2. table config 中设置 table.exec.source.cdc-events-duplicate 参数为 true
或者 set 'table.exec.source.cdc-events-duplicate'='true'

Best,
Feng



On Mon, Nov 13, 2023 at 4:09 PM yawning <yawn...@foxmail.com> wrote:

> mysql里面字段：
>
> `encrypted_xx` blob
>
> Canal-json
> "encrypted_xx":"\u0003üUãcA\u0018\u001A}àh\u0013\u001F æÉ"
>
>
>
> 乱码中会有}]这种特殊符号
>
>
> 普通查询：
> select * from tbl
>
> 结果符合预期：
>
> -U[273426307, xxx, uÂ&amp;°àÈ;óX«V, üUãcA}àh æÉ, 1699359473865, 2]
> +U[273426307, xxx,
> uÂ&amp;°àÈ;óX«V, üUãcA}àh æÉ, 1699359473865, 2]
> -U[399385197, yyy, nì¡… ^³Ø )½ÍU¸, ÉîA6³gŽŽMõýNêfŠ], 1697648682595, 0]
> +U[399385197, yyy, nì¡… ^³Ø )½ÍU¸, ÉîA6³gŽŽMõýNêfŠ], 1699359694026, 0]
> -U[399385197, yyy, nì¡… ^³Ø )½ÍU¸, ÉîA6³gŽŽMõýNêfŠ], 1699359694026, 0]
> +U[399385197, yyy, nì¡… ^³Ø )½ÍU¸, ÉîA6³gŽŽMõýNêfŠ], 1699359694242, 0]
>
> 聚合查询：
> select count(*) from tbl
>
>
> 结果错误
> +I[1]-D[1]
> +I[1]
> -D[1]
> +I[1]