Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

[鱼子酱]

hi，您好：
我改回增量模式重新收集了一些数据：
1、数据处理速度：3000条每秒，是测试环境的，压力比较稳定，几乎没有波动
2、checkpoint是interval设置的是5秒
3、目前这个作业是每分钟一个窗口
4、并行度设置的1，使用on-yarn模式

刚启动的时候，如下：
<http://apache-flink.147419.n8.nabble.com/file/t793/6.png> 

18分钟后，如下：
<http://apache-flink.147419.n8.nabble.com/file/t793/9.png> 

checkpoints设置：
<http://apache-flink.147419.n8.nabble.com/file/t793/conf.png> 

hdfs上面大小：
<http://apache-flink.147419.n8.nabble.com/file/t793/hdfs.png> 

页面上看到的大小：
<http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png> 


Congxian Qiu wrote
> Hi   鱼子酱
>     能否把在使用增量 checkpoint 的模式下，截图看一下 checkpoint size 的走势呢？另外可以的话，也麻烦你在每次
> checkpoint 做完之后，到 hdfs 上 ls 一下 checkpoint 目录的大小。
>     另外有一个问题还需要回答一下，你的处理速度大概是多少，state 的更新频率能否评估一下呢？
> 
> Best,
> Congxian
> 
> 
> 鱼子酱 <

> 384939718@

>> 于2020年7月30日周四 上午10:43写道：
> 
>> 感谢！
>>
>> flink1.11.1版本里面，我尝试了下面两种backend，目前运行了20多个小时，
>> 能够看到状态的大小在一个区间内波动，没有发现一直增长的情况了。
>> StateBackend backend =new
>>
>> RocksDBStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
>> StateBackend backend =new
>>
>> FsStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
>>
>>
>> 这样看，有可能是RocksDBStateBackend增量模式这边可能存在一些问题。
>> RocksDBStateBackend：
>> &lt;http://apache-flink.147419.n8.nabble.com/file/t793/444.png&gt;
>> FsStateBackend：
>> &lt;http://apache-flink.147419.n8.nabble.com/file/t793/555.png&gt;
>>
>>
>>
>>
>> --
>> Sent from: http://apache-flink.147419.n8.nabble.com/
>>





--
Sent from: http://apache-flink.147419.n8.nabble.com/