sql ddlo.proctime
------
??: "Jark Wu"https://ci.apache.org/projects/flink/flink-docs-master/dev/table/streaming/joins.html#join-with-a-temporal-table
On Fri, 27 Sep 2019 at 14:12, yelun <986463...@qq.com wrote:
Hi
Hi
我觉得你的担心是在TTL尚未过期的周期内，数据就已经写满磁盘了，这个肯定不是TTL能涵盖的问题，从作业规模上尝试限制写入量，或者增大并发，降低单个rocksDB需要承担的数据量（前提是你的所有机器的磁盘空间是大于你的数据量的）。另外如果真的很担心的话，换一个压缩率更小的算法
也有一些帮助(代价是更耗时更耗CPU, rocksDB 官方推荐ZTSD或者Zlib)[1]，设置compression type可以参考rocksdb
ColumnFamilyOptions的setCompressionType 方法 [2]
[1]
Hi 唐云
好的，我重新启动一个yarn
session来查找原因，不过我早上把RocksDBState后端改成了FSState后端后，就没有出现过任何异常了。
发件人: Yun Tang
发送时间: 2019年10月11日 15:27
收件人: user-zh
主题: Re: 回复: flink 缓存本地文件被删除疑问
hi 嘉诚
这个异常是因为你的task 被cancel了，所以清理了相关目录，结果导致硬链时候原始目录下文件找不到了。
换言之，这个task ”累积数据 -> Sink: 写入到HBase
hi 嘉诚
这个异常是因为你的task 被cancel了，所以清理了相关目录，结果导致硬链时候原始目录下文件找不到了。
换言之，这个task ”累积数据 -> Sink: 写入到HBase (12/12)(55962df9fd694ed1f82b8f3ec2aaf6c4)”
是受害者，是因为其他异常导致整个作业failover，之后导致cancel了当前task，你应该在job
manager日志中找到第一个fail的task，那上面的异常才是root cause。
祝好
唐云
From: 戴嘉诚
Sent:
Hi
是彻底的看不到任何一条历史异常。
发件人: Yun Tang
发送时间: 2019年10月11日 14:43
收件人: user-zh@flink.apache.org
主题: Re: 回复: flink1.9 webui exception日志显示问题
hi
Web上保存的历史异常数目是有限的，只会保存20个
[1]，如果更旧的异常被冲掉了，直接去jobmanager日志里面检索异常信息吧。另外，你的问题是彻底看不到任何一条历史异常，还是看不到最老的历史异常？
[1]
Hi 戴嘉诚
你的异常发生在failover时，rocksDB恢复的时候，会从hdfs下载文件到临时restore目录，然后再做硬链到DB目录下。原先已经下载到临时restore目录的文件在做硬链的时候，突然报出原始文件找不到了
[1]。这个异常的出现比较奇怪，能否先share一下出问题的taskmanager的所有日志？
[1]
Hi,
我在代码中已经是显式的给每个算子都设置了uid了
发件人: Qi Kang
发送时间: 2019年10月11日 14:48
收件人: user-zh@flink.apache.org
主题: Re: flink 缓存本地文件被删除疑问
Hi,
从报错看，可能是因为自动生成的算子ID改变，无法取得state backend里存储的状态。检查点维护的是[算子ID ->
状态]的映射关系，所以Flink推荐用uid()方法给算子显式设置ID，才能保证正常恢复现场。可以参考文档[1]。
[1]
