如果必须要10分钟,但是key比较分散,感觉这种情况可以增加资源加大一下并发试试,减少每个task发出的数据量
On Thu, Oct 20, 2022 at 9:49 AM yidan zhao <hinobl...@gmail.com> wrote: > 这个描述前后矛盾,写出速度跟不上导致反压,那控制写出速度不是问题更大。不过你不需要考虑这些,因为你控制不了写出速度,只能控制写出时机。 > > 写出时机是由window的结束时间和watermark决定的,所以如果真要解决,需要控制分窗不要固定整点10分钟。 > > macia kk <pre...@gmail.com> 于2022年10月20日周四 00:57写道: > > > > 聚合10分钟再输出,到10分钟的时候由于积攒了很多数据,写出速度跟不上,导致反压,然后上游消费就处理变慢了。 > > > > 如果控制一下写出的速度,让他慢慢写会不会好一些 >