Flink interval join问题

2021-12-31 文章 mayifan
Hi,各位大佬! Flink SQL双流JOIN,先有的A流后有的B流,现在需要对A流状态保留7天,然后用B流去关联A流 正确的写法是 B between A and A + INTERVAL '7' DAY 还是 B between A - INTERVAL '7' DAY and A 期待大佬们的答复~! 非常感谢~!

Flink checkpoint文件大小与对应内存大小映射关系

2021-12-01 文章 mayifan
Hi,All~! 麻烦大家一个问题,有大佬了解过checkpoint文件大小与实际内存对应的状态数据大小的映射关系吗? 比如Fs状态后端checkpoint后文件大小是1MB,对应的状态数据在内存中占用大概是多少呢? 感谢答复~!

Flink1.9 内存模型中cutoff内存分配问题

2021-11-30 文章 mayifan
~! | | mayifan | | mayi...@88.com | 签名由网易邮箱大师定制

Re: Re: Flink任务每运行20天均会发生内部异常

2021-10-26 文章 mayifan
t;flink中文邮件组" > 抄 送: > 主 题:Re: Flink任务每运行20天均会发生内部异常 > > Hi! > > 听起来和 state 过期时间非常有关。你配置了哪些和 state 过期相关的参数?是否有 20 天过期的 state? > > mayifan 于2021年10月26日周二 下午4:43写道: > > > Hi! > > > > 麻烦请教大家一个问题。 > > > > > > 有三个Flink任务以yarn-per-job模式运行在

Flink任务每运行20天均会发生内部异常

2021-10-26 文章 mayifan
Hi! 麻烦请教大家一个问题。 有三个Flink任务以yarn-per-job模式运行在Flink-1.11.2版本的集群上,均使用RocksDB作为状态后端,数据以增量的方式写入RocksDB,且均配置了状态过期时间。 任务逻辑大致都是通过状态与历史数据进行自关联或双流join,每输入一条数据都会产出等量、1/2或多倍的数据到下游,当数据无法通过状态关联,任务则无法向下游产出数据。