谢谢,了解了。 王磊
[email protected] Sender: Yun Tang Send Time: 2019-11-01 01:38 Receiver: [email protected] Subject: Re: Flink State 过期清除 TTL 问题 Hi 王磊 从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置 cleanupFullSnapshot,这样你在执行full snapshot(也就是Savepoint)的时候,会把过期的数据不保存在你的Savepoint内容中。如果你不启用主动清理,只有当原先的数据被读取时,才会进行清理,这可能就导致你的Savepoint内容不断增长的原因。 另外,建议升级到Flink-1.8+,对state TTL的特性支持更好,可以参考中文文章 [2] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/stream/state/state.html#cleanup-of-expired-state [2] https://www.infoq.cn/article/L_66ga2G9oLWypvOLtIv 祝好 唐云 On 10/31/19, 10:25 AM, "[email protected]" <[email protected]> wrote: flink-1.7.2, 用下面的清除策略:StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(Time.days(3)).setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite).setStateVisibility(StateTtlConfig.StateVisibility.NeverReturnExpired).build(); ValueStateDescriptor<OrderState> descriptor = new ValueStateDescriptor("OrderState", TypeInformation.of(OrderState.class)); descriptor.enableTimeToLive(ttlConfig); 程序更新时用 savepoint 的方式, flink cancel -s 保存到 savepoint 目录,再从 savepoint 目录恢复。 我的程序运行了一段时间,已经远大于 3 天,每次 flink cancel -s 后生成的 savepoint 目录不断变大。是过期清除策略没生效吗? 谢谢, 王磊 [email protected]
