Flink 的 Taskmanager 间网络连接数、task之间的result sub partition 数对任务性能的影响。

2022-10-13 文章 yidan zhao
任务假设: 任务从kafka读取数据,经过若干复杂处理(process、window、join、等等),然后sink到kafka。 并发最高240(kafka分区数),当前采用全部算子相同并发方式部署。 算子间存在 hash、forward、rebalance 等分区情况。 此处假设 A 和 B 算子之间是 rebalance。 C 和 D 算子直接是 hash 分区(无数据倾斜)。ABCD都是240并发。 其他算子暂忽略。 TM连接数: Flink 的 taskmanager 之间的共享 tcp

Re: Flink SQL 中同时写入多个 sink 时,是否能够保证先后次序

2022-10-13 文章 Zhiwen Sun
好的,谢谢大家,之前也想过这个方案,复用/继承 JdbcDynamicTableSink 相关代码自定义 connector 。 Zhiwen Sun On Fri, Oct 14, 2022 at 10:08 AM yidan zhao wrote: > 在一个自定义sink中实现先写database,再发消息。 > > 或者2个都是自定义的,但是不能通过sink,因为sink后就没数据了。通过process,第一个process完成写入database后,后续process发送消息。 > > Shuo Cheng 于2022年10月12日周三 16:59写道: > > >

Re: Re: flink cdc能否同步DDL语句?

2022-10-13 文章 Shengkai Fang
Hi. 可以从这个地方入手看看 https://github.com/ververica/flink-cdc-connectors/blob/master/flink-connector-mysql-cdc/src/main/java/com/ververica/cdc/connectors/mysql/source/reader/MySqlRecordEmitter.java#L95 Best, Shengkai casel.chen 于2022年10月11日周二 10:58写道: > 可以给一些hints吗?看哪些类? > > > > > > > > > > > > > >

Re: 退订

2022-10-13 文章 Shengkai Fang
你好,可以发送邮件到 user-zh-unsubscr...@flink.apache.org 来退订。 Best, Shengkai 13341000780 <13341000...@163.com> 于2022年10月10日周一 18:21写道: > > 退订 > > > > > -- > 发自我的网易邮箱手机智能版

Re: [ANNOUNCE] Apache Flink Table Store 0.2.1 released

2022-10-13 文章 Martijn Visser
Congratulations and thanks to all those involved! On Thu, Oct 13, 2022 at 4:47 AM Jingsong Lee wrote: > The Apache Flink community is very happy to announce the release of > Apache Flink Table Store 0.2.1. > > Apache Flink Table Store is a unified storage to build dynamic tables > for both