Re: 关于flink cdc 测试时遇到的几种问题，比较疑惑，各位大佬求帮助

[godfrey he]

sql
client的默认并发为1，如果没有在sql-client-defaults.yaml显示设置parallelism，代码里面的默认并发为1.因此需要显示的设置
sql-client-defaults.yaml的parallelism

Jark Wu  于2020年9月15日周二 上午11:43写道：

> Hi,
>
> 请问
> 1. 有完整的异常栈吗？ 你是怎么从 ck 恢复的呢？ 用的什么命令？
> 2. 是的。因为 source 只能并发1。先写到 kafka，再从 kafka 同步是可以的。
>
> Best,
> Jark
>
> On Fri, 11 Sep 2020 at 17:56, 引领  wrote:
>
> >
> >
> > 1、在checkpoint后，用ck恢复时报错。
> > org.apache.kafka.connect.errors.ConnectException:
> >
> com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException:
> > Failed to deserialize data ofEventHeaderV4{timestamp=1599815908000,
> > eventType=EXT_UPDATE_ROWS, serverId=501, headerLength=19,
> dataLength=25879,
> > nextPosition=721073164, flags=0}
> > 2、关于flink cdc读取数据后，并执行join【加载维表的操作】后，写入mysql中。并发调不上去，一直是1
> > 我已在配置文件中做了相应的设置，包括sql-client中
> > taskmanager.numberOfTaskSlots: 5 # The parallelism used for
> > programs that did not specify and other parallelism.
> >  parallelism.default: 5
> >
> >
> > 我的sql是:
> >
> >
> > Insert into orders Select * from order o join sku s FOR SYSTEM_TIME
> as
> > of o.proc_time s  on o.sku_id = s.id
> >
> >
> > 提前感谢各位大佬回复
> >
> >
> >
> >
> >
> >
>

Re: 关于flink cdc 测试时遇到的几种问题，比较疑惑，各位大佬求帮助

[Jark Wu]

Hi,

请问
1. 有完整的异常栈吗？ 你是怎么从 ck 恢复的呢？ 用的什么命令？
2. 是的。因为 source 只能并发1。先写到 kafka，再从 kafka 同步是可以的。

Best,
Jark

On Fri, 11 Sep 2020 at 17:56, 引领  wrote:

>
>
> 1、在checkpoint后，用ck恢复时报错。
> org.apache.kafka.connect.errors.ConnectException:
> com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException:
> Failed to deserialize data ofEventHeaderV4{timestamp=1599815908000,
> eventType=EXT_UPDATE_ROWS, serverId=501, headerLength=19, dataLength=25879,
> nextPosition=721073164, flags=0}
> 2、关于flink cdc读取数据后，并执行join【加载维表的操作】后，写入mysql中。并发调不上去，一直是1
> 我已在配置文件中做了相应的设置，包括sql-client中
> taskmanager.numberOfTaskSlots: 5 # The parallelism used for
> programs that did not specify and other parallelism.
>  parallelism.default: 5
>
>
> 我的sql是:
>
>
> Insert into orders Select * from order o join sku s FOR SYSTEM_TIME as
> of o.proc_time s  on o.sku_id = s.id
>
>
> 提前感谢各位大佬回复
>
>
>
>
>
>

关于flink cdc 测试时遇到的几种问题，比较疑惑，各位大佬求帮助

[引领]

1、在checkpoint后，用ck恢复时报错。
org.apache.kafka.connect.errors.ConnectException: 
com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException:
 Failed to deserialize data ofEventHeaderV4{timestamp=1599815908000, 
eventType=EXT_UPDATE_ROWS, serverId=501, headerLength=19, dataLength=25879, 
nextPosition=721073164, flags=0}
2、关于flink cdc读取数据后，并执行join【加载维表的操作】后，写入mysql中。并发调不上去，一直是1
我已在配置文件中做了相应的设置，包括sql-client中
taskmanager.numberOfTaskSlots: 5 # The parallelism used for programs 
that did not specify and other parallelism. parallelism.default: 5


我的sql是:


Insert into orders Select * from order o join sku s FOR SYSTEM_TIME as of 
o.proc_time s  on o.sku_id = s.id


提前感谢各位大佬回复