Hi,各位大佬!
Flink SQL双流JOIN,先有的A流后有的B流,现在需要对A流状态保留7天,然后用B流去关联A流
正确的写法是 B between A and A + INTERVAL '7' DAY
还是 B between A - INTERVAL '7' DAY and A
期待大佬们的答复~!
非常感谢~!
Hi,All~!
麻烦大家一个问题,有大佬了解过checkpoint文件大小与实际内存对应的状态数据大小的映射关系吗?
比如Fs状态后端checkpoint后文件大小是1MB,对应的状态数据在内存中占用大概是多少呢?
感谢答复~!
~!
|
|
mayifan
|
|
mayi...@88.com
|
签名由网易邮箱大师定制
t;flink中文邮件组"
> 抄 送:
> 主 题:Re: Flink任务每运行20天均会发生内部异常
>
> Hi!
>
> 听起来和 state 过期时间非常有关。你配置了哪些和 state 过期相关的参数?是否有 20 天过期的 state?
>
> mayifan 于2021年10月26日周二 下午4:43写道:
>
> > Hi!
> >
> > 麻烦请教大家一个问题。
> >
> >
> > 有三个Flink任务以yarn-per-job模式运行在
Hi!
麻烦请教大家一个问题。
有三个Flink任务以yarn-per-job模式运行在Flink-1.11.2版本的集群上,均使用RocksDB作为状态后端,数据以增量的方式写入RocksDB,且均配置了状态过期时间。
任务逻辑大致都是通过状态与历史数据进行自关联或双流join,每输入一条数据都会产出等量、1/2或多倍的数据到下游,当数据无法通过状态关联,任务则无法向下游产出数据。