Re: 回复： flink sql状态清理问题

Mon, 10 Aug 2020 04:46:51 -0700 

Hi,

我看了一下mini-batch的聚合函数的实现，的确是没有开启状态清理，我建了一个issue[1] 来跟进修复这个bug。

[1] https://issues.apache.org/jira/browse/FLINK-18872

op <520075...@qq.com> 于2020年8月10日周一 下午4:49写道：

> hi
> grouby count(*)不是吗
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> ld...@zju.edu.cn&gt;;
> 发送时间:&nbsp;2020年8月10日(星期一) 下午2:13
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re: 回复： flink sql状态清理问题
>
>
>
> Hi,
> 我看你开了minibatch,你用了aggregate算子了吗？
>
>
> &gt; -----原始邮件-----
> &gt; 发件人: op <520075...@qq.com&gt;
> &gt; 发送时间: 2020-08-10 10:50:08 (星期一)
> &gt; 收件人: user-zh <user-zh@flink.apache.org&gt;
> &gt; 抄送:
> &gt; 主题: 回复： flink sql状态清理问题
> &gt;
> &gt; 配置了minIdleStateRetentionTime ，
> &gt; val tConfig = tableEnv.getConfig
> &gt; tConfig.setIdleStateRetentionTime(Time.minutes(5), Time.minutes(10))
> &gt; 使用的是1.11.0版本，sql就是一个简单测试，按照sessionid groupby
> count(*)，一个sessionid一般1分钟内就会失效，
> &gt; 问题是同一套代码，目前观察到的是配置minibatch后影响状态清理了
> &gt;
> &gt;
> &gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> &gt;
> 发件人:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> "user-zh"&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> <godfre...@gmail.com&amp;gt;;
> &gt; 发送时间:&amp;nbsp;2020年8月10日(星期一) 上午10:44
> &gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> &gt;
> &gt; 主题:&amp;nbsp;Re: flink sql状态清理问题
> &gt;
> &gt;
> &gt;
> &gt; 配置了 TableConfig 中的 minIdleStateRetentionTime 和
> maxIdleStateRetentionTime 吗？
> &gt;
> &gt; Benchao Li <libenc...@apache.org&amp;gt; 于2020年8月10日周一 上午10:36写道：
> &gt;
> &gt; &amp;gt; Hi，
> &gt; &amp;gt;
> &gt; &amp;gt; 最好也说一下使用的Flink版本以及对应的SQL，这样可以让其他同学容易复现这个问题。
> &gt; &amp;gt;
> &gt; &amp;gt; op <520075...@qq.com&amp;gt; 于2020年8月10日周一 上午10:27写道：
> &gt; &amp;gt;
> &gt; &amp;gt; &amp;gt; Hi
> &gt; &amp;gt; &amp;gt; &amp;amp;nbsp; &amp;amp;nbsp; 在使用flink
> sql的过程中遇到如下情况，在配置了如下选项后：
> &gt; &amp;gt; &amp;gt; &amp;amp;nbsp; val config =
> tableConfig.getConfiguration()
> &gt; &amp;gt; &amp;gt; &amp;amp;nbsp;
> &amp;amp;nbsp;&amp;amp;nbsp;config.setString("table.exec.mini-batch.enabled",
> &gt; &amp;gt; &amp;gt; "true")
> &gt; &amp;gt; &amp;gt; &amp;amp;nbsp;
> &gt; &amp;gt;
> &amp;amp;nbsp;&amp;amp;nbsp;config.setString("table.exec.mini-batch.allow-latency",
> &gt; &amp;gt; &amp;gt; "5s")
> &gt; &amp;gt; &amp;gt; &amp;amp;nbsp;
> &amp;amp;nbsp;&amp;amp;nbsp;config.setString("table.exec.mini-batch.size",
> "20")
> &gt; &amp;gt; &amp;gt;
> &gt; &amp;gt;
> 无论使用FsStateBackend还是RocksDBStateBackend都无法清理掉空闲状态，运行时可以观察到checkpoint目录下状态大小持续增长；
> &gt; &amp;gt; &amp;gt;
> 同一套代码，把这几个配置删掉后，运行时观察checkpoint目录下状态大小不会一直增长，能保持在一个范围内请问这是什么原因？谢谢
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; --
> &gt; &amp;gt;
> &gt; &amp;gt; Best,
> &gt; &amp;gt; Benchao Li
> &gt; &amp;gt;
>
>
> ------------------------------
> 刘大龙
>
> 浙江大学 控制系 智能系统与控制研究所 工控新楼217
> 地址：浙江省杭州市浙大路38号浙江大学玉泉校区
> Tel：18867547281



-- 

Best,
Benchao Li

回复