Re:Re: flink canal-json 如何获取每条数据是updata insert delete

2020-09-27 文章 air23
你好 ,
我不用canal-json接收了。使用flink-cdc功能,我想请教一下 我想把所有的维表都是用cdc加载,大约有10张左右,然后一个主流cdc表 
去做维表join ,
这样会很影响性能吗。是否需要配置checkpoint,所有的join都在flink里面 ,打个比方:
cdc主表(订单表), cdc(用户,地区,物流,.等10张维度表)
然后用 订单表 join 这些维度表 打宽数据,这样一个很多的join ,实际操作可行吗?





















在 2020-09-25 10:39:12,"Jark Wu"  写道:
>如果要抽取对应的 type,需要用 format = json, 把 json 的完整数据结构在 DDL 中声明出来(包括 type)。
>
>目前 canal-json 是自动将 changelog 转成了 Flink 的 insert/update/delete,而这个 change
>flag 目前是不对用户暴露的。
>
>Best,
>Jark
>
>On Fri, 25 Sep 2020 at 09:39, air23  wrote:
>
>> 你好
>> flink canal-json 如何获取每条数据是updata insert delete   ,我ddl插件kafka表 用对应的type取
>> 都是为null
>> 这个操作类型 有办法取到吗?谢谢
>>
>>


Re:Re: flink canal-json 如何获取每条数据是updata insert delete

2020-09-26 文章 Michael Ran
我们也想用,能暴露一个出来不- -
在 2020-09-25 10:39:12,"Jark Wu"  写道:
>如果要抽取对应的 type,需要用 format = json, 把 json 的完整数据结构在 DDL 中声明出来(包括 type)。
>
>目前 canal-json 是自动将 changelog 转成了 Flink 的 insert/update/delete,而这个 change
>flag 目前是不对用户暴露的。
>
>Best,
>Jark
>
>On Fri, 25 Sep 2020 at 09:39, air23  wrote:
>
>> 你好
>> flink canal-json 如何获取每条数据是updata insert delete   ,我ddl插件kafka表 用对应的type取
>> 都是为null
>> 这个操作类型 有办法取到吗?谢谢
>>
>>