好的非常感谢，我拿几个任务测试一波，看看性能能不能接受！
Hi,
没有被引用的文件可能也不是完全无用的，可能是当前pending checkpoint正在上传的，所以还需要比较一下那些不在checkpoint
meta内的文件的修改时间戳，可能比你分析的complete checkpoint的时间戳要大。
总体上来说，我不认为这个问题是一个bug，这个是LSM架构的DB的空间放大问题。如果你对空间放大非常担心的话，可以启用 dynamic level
[1]
/checkpoint/shared/文件夹大小不断增长，源数据没有数据激增，应该如何控制？
没有更好的方式吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
shared/文件夹大小不断增长，源数据没有数据激增，应该如何控制？
没有更好的方式吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
那会一直增大下去吗，我跑了4天，ckp一直变大，没有稳定的迹象。是不是我需要调整compaction的配置
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Sql 的/checkpoint/shared/文件夹大小不断增长，源数据没有数据激增，应该如何控制？
我遇到过的问题就是开了 增量checkpoint后，checkpoint会越来越大，关闭之后checkpoint就正常了
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我遇到过的问题就是开了 增量checkpoint后，checkpoint会越来越大，关闭之后checkpoint就正常了
--
Sent from: http://apache-flink.147419.n8.nabble.com/
感谢大佬的回复！以后优先现在邮箱这边讨论发现问题再去提个issue！
我的 idleStateRetention确实是设置3600秒，我先进行测试看看。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L99
祝好
唐云
From: yujianbo <15205029...@163.com>
Sent: Tuesday, June 1, 2021 10:51
To: user-zh@flink.apache.org
Subject: Re: Flink Sql 的/checkpoint/shared/文件夹大小不断增长，源数据没有数据激增，应该如何控制？
没有
没有更好的方式吗，这样治标不治本，那我大状态任务会有很多问题
--
Sent from: http://apache-flink.147419.n8.nabble.com/
没有更好的方式吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
关闭 增量checkpoint
--
Sent from: http://apache-flink.147419.n8.nabble.com/
有没有大佬帮忙看看
--
Sent from: http://apache-flink.147419.n8.nabble.com/
一、环境：
1、版本：1.12.0
2、flink sql
3、已经设置了setIdleStateRetention 为1小时
4、状态后端是rocksDB， 增量模式
5、源数据没有数据激增情况，任务已经跑了两天
二、详情
具体sql见第三大点，就是普通的group by统计的
sql，然后设置setIdleStateRetention(3600)。目前观察两天了，checkpoint目录下面的shared文件夹的大小一直在增长，然后看文件夹里的文件是在一直更新，最早的文件也会消失。
13 matches
Mail list logo
