我们是改造了kakfa-sql-connector实现的,用优先队列缓存数据 到达一定时间再发出来 >>> 优先队列缓存数据是在内存中的吗?怎样防止OOM? 
重启后会不会丢数据?


"datastream可以用窗口+side output来实现"
>>> 上游每个流都要开相同的窗口再关联吗?每个作业都要定制?有没有通用的模板和做法?




在 2021-06-23 11:20:42,"zhuxiaoshang" <[email protected]> 写道:
>我们是改造了kakfa-sql-connector实现的,用优先队列缓存数据 到达一定时间再发出来
>datastream可以用窗口+side output来实现,但是sql没有side output实现,所以存在丢数据的情况
>
>> 2021年6月23日 上午8:27,casel.chen <[email protected]> 写道:
>> 
>> 上游有多个流需要经过flink作近实时关联,数据流有先到和后到问题,为了尽可能关联上,有什么办法可以实现延迟关联吗?每个流开个1分钟窗口再关联相同key的元素可以吗?用flink
>>  sql如何实现?谢谢!
>

回复