任务假设:
任务从kafka读取数据,经过若干复杂处理(process、window、join、等等),然后sink到kafka。
并发最高240(kafka分区数),当前采用全部算子相同并发方式部署。
算子间存在 hash、forward、rebalance 等分区情况。
此处假设 A 和 B 算子之间是 rebalance。 C 和 D 算子直接是 hash 分区(无数据倾斜)。ABCD都是240并发。 其他算子暂忽略。
TM连接数:
Flink 的 taskmanager 之间的共享 tcp
好的,谢谢大家,之前也想过这个方案,复用/继承 JdbcDynamicTableSink 相关代码自定义 connector 。
Zhiwen Sun
On Fri, Oct 14, 2022 at 10:08 AM yidan zhao wrote:
> 在一个自定义sink中实现先写database,再发消息。
>
> 或者2个都是自定义的,但是不能通过sink,因为sink后就没数据了。通过process,第一个process完成写入database后,后续process发送消息。
>
> Shuo Cheng 于2022年10月12日周三 16:59写道:
> >
>
Hi.
可以从这个地方入手看看
https://github.com/ververica/flink-cdc-connectors/blob/master/flink-connector-mysql-cdc/src/main/java/com/ververica/cdc/connectors/mysql/source/reader/MySqlRecordEmitter.java#L95
Best,
Shengkai
casel.chen 于2022年10月11日周二 10:58写道:
> 可以给一些hints吗?看哪些类?
>
>
>
>
>
>
>
>
>
>
>
>
>
>
你好,可以发送邮件到 user-zh-unsubscr...@flink.apache.org 来退订。
Best,
Shengkai
13341000780 <13341000...@163.com> 于2022年10月10日周一 18:21写道:
>
> 退订
>
>
>
>
> --
> 发自我的网易邮箱手机智能版
Congratulations and thanks to all those involved!
On Thu, Oct 13, 2022 at 4:47 AM Jingsong Lee
wrote:
> The Apache Flink community is very happy to announce the release of
> Apache Flink Table Store 0.2.1.
>
> Apache Flink Table Store is a unified storage to build dynamic tables
> for both