Re: flink系统配置中的io.tmp.dirs里的文件自动清理机制

Sun, 29 Aug 2021 19:34:42 -0700 

Hi！

这些临时文件基本都是网络 shuffle 的数据，Flink 会自动清理不用的数据，理论上不会无限增大。

另外你使用的 state backend 是什么？部分 state backend 比如 rocksdb 的临时文件也会存在这里，此时就和 state
的大小相关。

王春波 <[email protected]> 于2021年8月30日周一 上午10:26写道：

>
> 请问作业结束是指任务停止么，还是数据处理完成一部分，实时分析job一直在消费kafka数据，临时文件内容会很大，flink也没有什么策略处理一下么？磁盘会被占满的，怎么办呀？
> 还有个问题，临时文件里存储的是数据么？
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> [email protected]&gt;;
> 发送时间:&nbsp;2021年8月30日(星期一) 上午10:03
> 收件人:&nbsp;"user-zh"<[email protected]&gt;;
>
> 主题:&nbsp;Re: flink系统配置中的io.tmp.dirs里的文件自动清理机制
>
>
>
> Hi！
>
> io.tmp.dirs 里的文件在作业结束后会自动清理，作业运行过程中不应该清理。
>
> 王春波 <[email protected]&gt; 于2021年8月30日周一 上午9:57写道：
>
> &gt;
> &gt;
> 在运行flink任务时，在flink-conf.yaml配置文件中的io.tmp.dirs里会缓存些临时文件，这些文件有没有清理的机制？在实际运行中该目录里的文件占用巨大的磁盘空间，约40G左右，将其删除后，任务就执行失败了，不知道该如何清理，多指教

回复