hi
图片看不到 我猜大概有两种情况 第一种是你的 source 本身就存在数据倾斜 某几个分区的数据量比其他分区的多 需要修改数据写入 kafka 分区策略让数据尽量均匀 第二种是你的下游计算的时候出现数据倾斜(或其他原因)导致任务反压到 source 端 这种情况需要根据实际的情况采用不同的解决方案 单纯的增加并发和改变 slot 数量没有什么效果 Best JasonLee 在2021年9月22日 09:22，casel.chen<casel_c...@126.com> 写道： kafka topic有32个分区，实时作业开了32个并行度消费kafka topic，现在监控发现部分分区消息积压严重（如下图所示)，请问会有哪些原因造成的？有什么解决办法吗？扩大分区数是不是也不能根治这种情况？ PS: 每个分区消息数的确有所不均，但是同样消息数的几个分区也会出现积压不同情况（如15,16,17,18)。会是因为节点带宽受限造成的吗？当前numberOfSlots=8，改成numberOfSlots=1会有效果么？ | 分区 ID | 客户端 | 最大位点 | 消费位点 | 堆积量 | | 0 | n/a | 14,131,397 | 14,130,923 | 474 | | 1 | n/a | 14,191,455 | 14,189,396 | 2,059 | | 2 | n/a | 14,611,826 | 14,610,262 | 1,564 | | 3 | n/a | 15,340,150 | 15,335,944 | 4,206 | | 4 | n/a | 16,379,487 | 16,372,237 | 7,250 | | 5 | n/a | 17,696,565 | 17,639,308 | 57,257 | | 6 | n/a | 19,200,829 | 19,129,856 | 70,973 | | 7 | n/a | 20,889,954 | 20,888,652 | 1,302 | | 8 | n/a | 22,643,539 | 22,536,468 | 107,071 | | 9 | n/a | 24,440,881 | 24,439,357 | 1,524 | | 10 | n/a | 26,178,250 | 26,073,197 | 105,053 | | 11 | n/a | 27,828,497 | 27,670,732 | 157,765 | | 12 | n/a | 29,284,463 | 29,283,105 | 1,358 | | 13 | n/a | 30,526,020 | 29,781,704 | 744,316 | | 14 | n/a | 31,468,482 | 31,467,243 | 1,239 | | 15 | n/a | 32,084,198 | 31,467,610 | 616,588 | | 16 | n/a | 32,393,752 | 32,019,836 | 373,916 | | 17 | n/a | 32,302,065 | 32,141,999 | 160,066 | | 18 | n/a | 31,875,063 | 31,874,452 | 611 | | 19 | n/a | 31,137,894 | 31,002,867 | 135,027 | | 20 | n/a | 30,098,926 | 29,930,855 | 168,071 | | 21 | n/a | 28,739,235 | 28,603,509 | 135,726 | | 22 | n/a | 27,221,026 | 27,220,821 | 205 | | 23 | n/a | 25,514,265 | 25,382,536 | 131,729 | | 24 | n/a | 23,779,714 | 23,689,296 | 90,418 | | 25 | n/a | 21,981,307 | 21,981,267 | 40 | | 26 | n/a | 20,237,925 | 20,223,880 | 14,045 | | 27 | n/a | 18,606,490 | 18,606,387 | 103 | | 28 | n/a | 17,178,098 | 17,177,971 | 127 | | 29 | n/a | 15,972,292 | 15,972,105 | 187 | | 30 | n/a | 15,032,355 | 15,032,138 | 217 | | 31 | n/a | 14,426,366 | 14,425,462 | 904 |
