kafka是作为flink作业source来消费的，作业跑在k8s上以session mode运行，发现有的TM作业特别多，消耗资源也多，而有的TM作业少，占用资源也少。 会不会是这个原因造成kafka不同分区消费能力差异？那些消费慢的task恰好落在比较忙的TM。有什么办法可以让各个TM负载均衡吗？
在 2021-10-29 17:32:40，"WuKong" <[email protected]> 写道： >Hi casel.chan： > 请问你是sink端数据不均衡还是source端数据不均衡。 > 如果是写入端 ，看看你是否自定义了分区字段，flink 默认是策略应该不会造成数据不均衡，但是无法保证 分区有序性。同时也可以关注下 下游消费者 > 是否会有消费不同分区 处理性能不同问题。 > > > >--- >Best, >WuKong > >发件人： casel.chen >发送时间： 2021-10-29 09:30 >收件人： [email protected] >主题： flink sql消费kafka各分区消息不均衡问题 >flink >sql消费kafka消息做数据同步，前期没有出现堆积不均的问题，这两天发现某些kafka分区积压特别多，会是什么原因造成的？怎样解决呢？从统计结果上看，消息还算均匀地打到各个kafka分区上。作业没有开窗和聚合，只是攒一批写一批这样子的。注：作业是跑在k8s上的 > > >| 分区 ID | 客户端 | 最大位点 | 消费位点 | 堆积量 | >| 0 | n/a | 155,397,108 | 155,396,747 | 361 | >| 1 | n/a | 155,215,444 | 155,215,108 | 336 | >| 2 | n/a | 155,369,596 | 155,369,258 | 338 | >| 3 | n/a | 155,422,750 | 155,422,337 | 413 | >| 4 | n/a | 155,163,343 | 154,489,738 | 673,605 | >| 5 | n/a | 155,401,388 | 154,702,173 | 699,215 | >| 6 | n/a | 155,372,040 | 154,651,398 | 720,642 | >| 7 | n/a | 155,208,461 | 154,528,301 | 680,160 | >| 8 | n/a | 155,383,486 | 154,696,404 | 687,082 | >| 9 | n/a | 155,391,068 | 154,668,426 | 722,642 | >| 10 | n/a | 155,139,417 | 154,450,377 | 689,040 | >| 11 | n/a | 155,411,848 | 155,411,518 | 330 | >
