??????get state from window
-- -- ??: "user-zh"
回复： flink自动重启出错
您好，我的版本是 1.14.3的，运行的逻辑就是使用状态存放数据，然后设置了ttl，时间是一个小时。新的作业启动后，如果不是基于之前的检查点恢复，那应该不会和之前的作业还有任何关联吧，很奇怪的点就是新的作业，会报这个错误，我在本地复现了一下，是旧的作业不设置ttl，然后新的作业设置ttl，以就作业的ck去恢复，报了这个错误，但是我的是全新的作业启动。 感谢您的回复，谢谢。 | | Jason_H | | hyb_he...@163.com | 回复的原邮件 | 发件人 | | | 发送日期 | 2022年8月19日 18:59 | | 收件人 | flink中文邮件组 | | 主题 | Re: flink自动重启出错 | 能提供下你用的是什么 Flink 版本，运行的什么样的作业逻辑吗？老版本有发现过因为 state comparator 实现问题的导致的类似问题： https://issues.apache.org/jira/browse/FLINK-18452，1.12 中修复了。 新的作业如果开了 cp，全新启动后因为某些原因挂了也会从 cp 恢复，就能触发此类问题了 Best, Zhanghao Chen From: Jason_H Sent: Friday, August 19, 2022 11:52 To: flink中文邮件组 Subject: flink自动重启出错 cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer must not be incompatible with the old state serializer 大家好，我最近遇到一个很奇怪的问题，我的作业自动重启的时候报这个错，我上网查了一下，说是状态不兼容，但是我的作业都是新的作业启动的，没有根据之前的ck恢复，然后跑一段时间就报这个错，它是自动重启的时候，就报这个错了，这个有遇到过吗？有没有什么解决办法？ 强调：作业是新的，没有基于之前的作业的ck进行重启。 | | Jason_H | | hyb_he...@163.com |
Re: flink自动重启出错
能提供下你用的是什么 Flink 版本，运行的什么样的作业逻辑吗？老版本有发现过因为 state comparator 实现问题的导致的类似问题： https://issues.apache.org/jira/browse/FLINK-18452，1.12 中修复了。 新的作业如果开了 cp，全新启动后因为某些原因挂了也会从 cp 恢复，就能触发此类问题了 Best, Zhanghao Chen From: Jason_H Sent: Friday, August 19, 2022 11:52 To: flink中文邮件组 Subject: flink自动重启出错 cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer must not be incompatible with the old state serializer 大家好，我最近遇到一个很奇怪的问题，我的作业自动重启的时候报这个错，我上网查了一下，说是状态不兼容，但是我的作业都是新的作业启动的，没有根据之前的ck恢复，然后跑一段时间就报这个错，它是自动重启的时候，就报这个错了，这个有遇到过吗？有没有什么解决办法？ 强调：作业是新的，没有基于之前的作业的ck进行重启。 | | Jason_H | | hyb_he...@163.com |
Re: flink sql支持监听单个文件内容变化吗？
Hi， 不支持监听单个文件的变化，但是可以监听某个目录下文件的新增。 [1] https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/filesystem/#source Best, Weihua On Fri, Aug 19, 2022 at 11:56 AM casel.chen wrote: > flink sql支持监听单个文件内容变化吗？文件中每一行是一条记录，对外输出的模式可以全量或者变量。
Re: akka.framesize配置问题
Hi, 看这个报错没有影响 Flink 任务的运行，不太像是 Flink 内部的通信。可以检查下是否有外部非预期的 API 请求（可能是安全的定期扫描？） Best, Weihua On Fri, Aug 19, 2022 at 3:31 PM 杨扬 wrote: > 各位大佬好！ > 最近将升级flink至1.14.2版本后出现附件图片中告警，每天固定时间告警几次。 > 经过初步排查属于akka.framesize设置问题，默认值太小需要调大，但是感觉需要调大的过多了，想请教下直接调教至200M以上是否合理？ > PS:使用 flink on yarn 模式，application模式启动。 > -- > 杨扬 > 银联数据服务有限公司 研究院 > 电话：021-60269751 > 邮箱：yangya...@cupdata.com > > > > >
