本质上是流里的数据量伸缩比较大导致的吧,感觉你去自定义source做下限流是不是更优雅一些。


不过说到底流式处理一般是对延迟比较敏感,恨不得用上所有资源让延迟最小化,你这里貌似对资源更敏感。。。


在 2021-08-31 15:19:01,"yidan zhao" <[email protected]> 写道:
>不过目前我覆盖实现过很多flink的api,都很难受,因为各种要么private,要么没有get/set,导致只能覆盖实现。没办法继承调整部分实现。
>
>刚刚看了下,这个思路实现的话,目前需要自定义个 window 类,不使用
>TimeWindow,需要在window中记录下触发时间,否则trigger的onEventTime方法回调中没办法确认是否当前元素的触发时机。
>或者triggerContext提供currentKey,但我看了TriggerContext中有key,但是没提供getCurrentKey方法,导致。。。
>
>yidan zhao <[email protected]> 于2021年8月31日周二 下午3:16写道:
>
>> cpu尖刺平滑呀。
>>
>> Shuo Cheng <[email protected]> 于2021年8月31日周二 下午3:14写道:
>>
>>> 这样做是要达到设么目的呢? 目前的触发机制以及 early/late fire 满足不了需求么?
>>>
>>> On 8/31/21, yidan zhao <[email protected]> wrote:
>>> > 如题,我目前计划自定义event time trigger实现分散触发。
>>> > 比如0-5的窗口分散到6-11分触发, 从6开始是因为本身有个1min的乱序处理。
>>> > 同时配合将allowedlateness设置为5min,这样避免窗口状态在触发之前被clean。
>>> >
>>> > 不知道想法是否OK呢?
>>> >
>>>
>>

回复