Re: Tumble Window 会带来反压问题吗?

2022-10-20 文章 yidan zhao
加大内存segment大小? macia kk 于2022年10月20日周四 15:31写道: > > https://img-beg-sg-1252771144.cos.ap-singapore.myqcloud.com/20221020144100.png > 看这个图,窗口结束的时候,会产生反压,导致前边的 busy 直接是0,不干活了 > > https://img-beg-sg-1252771144.cos.ap-singapore.myqcloud.com/20221020152835.png > 这个是前边在正常消费处理的时候 > > > > > macia kk

Re: Tumble Window 会带来反压问题吗?

2022-10-20 文章 macia kk
Hi yidan 我的的意思是,假设上游 1-10 分钟在处理数据,然后第11分钟就把大批量数据发给 sink,然后上游继续进行 10-20的处理,但是这时候 sink 由于数据量大产生了阻塞,造成反压反馈给上游,上游就变慢了。但实际上如果没有反压机制。10-20 的时候,sink 其实可以慢慢写完的。唯一的区别是他发送了一个反压信号,导致上游处理变慢。不知道理解的对不对。 为了要10分钟发送,是因为上游太多数据, 所以我先提前用窗口个聚合一下,目前一秒将近有 800MB 的流量 Shammon FY 于2022年10月20日周四 11:48写道: >