flink 1.12 及以上版本  sql kafka sink 支持参数: sink.parallelism  指定 sink 的并行度

On 2022/1/11 17:06, 许友昌 wrote:
hi,


设置了parallelism=10 ,实际上是分配了 10 个 slot,flink 是会共享 slot 的,所以 sink 会有 10 线程。

在2022年1月11日 16:53,RS<tinyshr...@163.com> 写道:
Hi,
请教下,比如设置了parallelism=10,source kafka的topic分区为3,那source、后面的处理和sink的并发度是3还是10?
如果source是10的话,那还有7个线程就空闲了?



在 2022-01-11 11:10:41,"Caizhi Weng" <tsreape...@gmail.com> 写道:
Hi!

可以设置 parallelism.default 为需要的并发数。

Jeff <zilong0...@126.com> 于2022年1月9日周日 19:44写道:

当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

回复