Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

Thu, 30 Jul 2020 22:42:14 -0700 

Hi   鱼子酱
    能否把在使用增量 checkpoint 的模式下，截图看一下 checkpoint size 的走势呢？另外可以的话，也麻烦你在每次
checkpoint 做完之后，到 hdfs 上 ls 一下 checkpoint 目录的大小。
    另外有一个问题还需要回答一下，你的处理速度大概是多少，state 的更新频率能否评估一下呢？

Best,
Congxian


鱼子酱 <384939...@qq.com> 于2020年7月30日周四 上午10:43写道：

> 感谢！
>
> flink1.11.1版本里面，我尝试了下面两种backend，目前运行了20多个小时，
> 能够看到状态的大小在一个区间内波动，没有发现一直增长的情况了。
> StateBackend backend =new
>
> RocksDBStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
> StateBackend backend =new
>
> FsStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
>
>
> 这样看，有可能是RocksDBStateBackend增量模式这边可能存在一些问题。
> RocksDBStateBackend：
> <http://apache-flink.147419.n8.nabble.com/file/t793/444.png>
> FsStateBackend：
> <http://apache-flink.147419.n8.nabble.com/file/t793/555.png>
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

回复