就是一个数据同步作业，从kafka写到mongodb，上游kafka有32个分区，所以作业开了32个并行度，写mongo侧倒没关注过是否出现反压，后续再出现可以看看，这种消费不均衡有时会自动消失。我在想会不会是跟节点网络带宽波动有关。
在 2021-09-22 19:23:35，"JasonLee" <17610775...@163.com> 写道： >hi > > >图片看不到 我猜大概有两种情况 第一种是你的 source 本身就存在数据倾斜 某几个分区的数据量比其他分区的多 需要修改数据写入 kafka >分区策略让数据尽量均匀 第二种是你的下游计算的时候出现数据倾斜(或其他原因)导致任务反压到 source 端 这种情况需要根据实际的情况采用不同的解决方案 >单纯的增加并发和改变 slot 数量没有什么效果 > > >Best >JasonLee >在2021年9月22日 09:22，casel.chen<casel_c...@126.com> 写道： >kafka topic有32个分区，实时作业开了32个并行度消费kafka >topic，现在监控发现部分分区消息积压严重（如下图所示)，请问会有哪些原因造成的？有什么解决办法吗？扩大分区数是不是也不能根治这种情况？ >PS: >每个分区消息数的确有所不均，但是同样消息数的几个分区也会出现积压不同情况（如15,16,17,18)。会是因为节点带宽受限造成的吗？当前numberOfSlots=8，改成numberOfSlots=1会有效果么？ > > >| >分区 ID >| >客户端 >| >最大位点 >| >消费位点 >| >堆积量 >| >| >0 >| >n/a >| >14,131,397 >| >14,130,923 >| >474 >| >| >1 >| >n/a >| >14,191,455 >| >14,189,396 >| >2,059 >| >| >2 >| >n/a >| >14,611,826 >| >14,610,262 >| >1,564 >| >| >3 >| >n/a >| >15,340,150 >| >15,335,944 >| >4,206 >| >| >4 >| >n/a >| >16,379,487 >| >16,372,237 >| >7,250 >| >| >5 >| >n/a >| >17,696,565 >| >17,639,308 >| >57,257 >| >| >6 >| >n/a >| >19,200,829 >| >19,129,856 >| >70,973 >| >| >7 >| >n/a >| >20,889,954 >| >20,888,652 >| >1,302 >| >| >8 >| >n/a >| >22,643,539 >| >22,536,468 >| >107,071 >| >| >9 >| >n/a >| >24,440,881 >| >24,439,357 >| >1,524 >| >| >10 >| >n/a >| >26,178,250 >| >26,073,197 >| >105,053 >| >| >11 >| >n/a >| >27,828,497 >| >27,670,732 >| >157,765 >| >| >12 >| >n/a >| >29,284,463 >| >29,283,105 >| >1,358 >| >| >13 >| >n/a >| >30,526,020 >| >29,781,704 >| >744,316 >| >| >14 >| >n/a >| >31,468,482 >| >31,467,243 >| >1,239 >| >| >15 >| >n/a >| >32,084,198 >| >31,467,610 >| >616,588 >| >| >16 >| >n/a >| >32,393,752 >| >32,019,836 >| >373,916 >| >| >17 >| >n/a >| >32,302,065 >| >32,141,999 >| >160,066 >| >| >18 >| >n/a >| >31,875,063 >| >31,874,452 >| >611 >| >| >19 >| >n/a >| >31,137,894 >| >31,002,867 >| >135,027 >| >| >20 >| >n/a >| >30,098,926 >| >29,930,855 >| >168,071 >| >| >21 >| >n/a >| >28,739,235 >| >28,603,509 >| >135,726 >| >| >22 >| >n/a >| >27,221,026 >| >27,220,821 >| >205 >| >| >23 >| >n/a >| >25,514,265 >| >25,382,536 >| >131,729 >| >| >24 >| >n/a >| >23,779,714 >| >23,689,296 >| >90,418 >| >| >25 >| >n/a >| >21,981,307 >| >21,981,267 >| >40 >| >| >26 >| >n/a >| >20,237,925 >| >20,223,880 >| >14,045 >| >| >27 >| >n/a >| >18,606,490 >| >18,606,387 >| >103 >| >| >28 >| >n/a >| >17,178,098 >| >17,177,971 >| >127 >| >| >29 >| >n/a >| >15,972,292 >| >15,972,105 >| >187 >| >| >30 >| >n/a >| >15,032,355 >| >15,032,138 >| >217 >| >| >31 >| >n/a >| >14,426,366 >| >14,425,462 >| >904 >|
