Re: flink自动重启出错
你好，可以贴下完整的 JM/TM 日志嘛。 感觉不是很符合预期 ， 如果是自动failover 的话应该不会发生 StateMig rationException Jason_H 于2022年8月25日周四 09:36写道： > 您好，报错如下： > cause by: java.lang.RuntimeException: Error while getting state > org.apache.flink.util.StateMigrationException: For heap backends, the new > state serializer must not be incompatible with the old state serializer > > > | | > Jason_H > | > | > hyb_he...@163.com > | > 回复的原邮件 > | 发件人 | yue ma | > | 发送日期 | 2022年8月24日 16:48 | > | 收件人 | | > | 主题 | Re: flink自动重启出错 | > 你好 ～可以贴下更详细的报错 > > Hangxiang Yu 于2022年8月24日周三 13:10写道： > > 是DS作业吗？可以share下使用state的部分吗？ > > On Sat, Aug 20, 2022 at 3:35 PM Jason_H wrote: > > 您好，改过任务，但是 是以新的任务启动的，改动很大，并不依赖之前老的任务 > > > | | > Jason_H > | > | > hyb_he...@163.com > | > 回复的原邮件 > | 发件人 | Michael Ran | > | 发送日期 | 2022年8月20日 15:31 | > | 收件人 | tsreape...@gmail.com | > | 主题 | 回复：flink自动重启出错 | > 改过任务吗? > > > > | | > greemqq...@163.com > | > | > 邮箱：greemqq...@163.com > | > > > > > 回复的原邮件 > | 发件人 | Jason_H | > | 日期 | 2022年08月19日 11:52 | > | 收件人 | flink中文邮件组 | > | 抄送至 | | > | 主题 | flink自动重启出错 | > cause by: java.lang.RuntimeException: Error while getting state > org.apache.flink.util.StateMigrationException: For heap backends, the new > state serializer must not be incompatible with the old state serializer > > > > 大家好，我最近遇到一个很奇怪的问题，我的作业自动重启的时候报这个错，我上网查了一下，说是状态不兼容，但是我的作业都是新的作业启动的，没有根据之前的ck恢复，然后跑一段时间就报这个错，它是自动重启的时候，就报这个错了，这个有遇到过吗？有没有什么解决办法？ > 强调：作业是新的，没有基于之前的作业的ck进行重启。 > > > | | > Jason_H > | > | > hyb_he...@163.com > | > > > > -- > Best, > Hangxiang. > >
Re: [ANNOUNCE] Apache Flink 1.15.2 released
Thanks Danny for driving this release Best, Xingbo Jing Ge 于2022年8月25日周四 05:50写道： > Thanks Danny for your effort! > > Best regards, > Jing > > On Wed, Aug 24, 2022 at 11:43 PM Danny Cranmer > wrote: > >> The Apache Flink community is very happy to announce the release of >> Apache Flink 1.15.2, which is the second bugfix release for the Apache >> Flink 1.15 series. >> >> Apache Flink® is an open-source stream processing framework for >> distributed, high-performing, always-available, and accurate data streaming >> applications. >> >> The release is available for download at: >> https://flink.apache.org/downloads.html >> >> Please check out the release blog post for an overview of the >> improvements for this bugfix release: >> https://flink.apache.org/news/2022/08/25/release-1.15.2.html >> >> The full release notes are available in Jira: >> >> https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315522=12351829 >> >> We would like to thank all contributors of the Apache Flink community who >> made this release possible! >> >> Regards, >> Danny Cranmer >> >
Re: pyflink内存管理
感谢。我是standalone集群，配置到 flink-conf.yaml 就可行吧。 https://stackoverflow.com/questions/64323031/pyflink-1-11-2-couldn-t-configure-taskmanager-memory-task-off-heap-size-proper 该文章说到的必须通过 tableEnv 配置是因为使用 pyflink-shell ？ 我提交是用 flink run 提交的。 yu'an huang 于2022年8月25日周四 09:25写道： > > 你好， > python部分的内存算flink taskmanager 配置的内存，你应该可以用参数 > *'taskmanager.memory.task.off-heap.size* > 来配置，可以参考这个问题： > https://stackoverflow.com/questions/64323031/pyflink-1-11-2-couldn-t-configure-taskmanager-memory-task-off-heap-size-proper > > > > On Wed, 24 Aug 2022 at 1:05 PM, yidan zhao wrote: > > > 如题，pyflink场景的任务，内存是如何管理呢。 > > > > python部分的内存是否算入flink TaskManager配置的内存中呢？ > > 比如python算子通过多进程做各种复杂的运算，这部分内存占用是否算入flink呢？ > > > > > > > > —— > > 如果不算的话，使用pyflink时，容器内存和flink TaskManager内存配置是不是需要预留空间？ > >
回复： flink自动重启出错
您好，报错如下： cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer must not be incompatible with the old state serializer | | Jason_H | | hyb_he...@163.com | 回复的原邮件 | 发件人 | yue ma | | 发送日期 | 2022年8月24日 16:48 | | 收件人 | | | 主题 | Re: flink自动重启出错 | 你好 ～可以贴下更详细的报错 Hangxiang Yu 于2022年8月24日周三 13:10写道： 是DS作业吗？可以share下使用state的部分吗？ On Sat, Aug 20, 2022 at 3:35 PM Jason_H wrote: 您好，改过任务，但是 是以新的任务启动的，改动很大，并不依赖之前老的任务 | | Jason_H | | hyb_he...@163.com | 回复的原邮件 | 发件人 | Michael Ran | | 发送日期 | 2022年8月20日 15:31 | | 收件人 | tsreape...@gmail.com | | 主题 | 回复：flink自动重启出错 | 改过任务吗? | | greemqq...@163.com | | 邮箱：greemqq...@163.com | 回复的原邮件 | 发件人 | Jason_H | | 日期 | 2022年08月19日 11:52 | | 收件人 | flink中文邮件组 | | 抄送至 | | | 主题 | flink自动重启出错 | cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer must not be incompatible with the old state serializer 大家好，我最近遇到一个很奇怪的问题，我的作业自动重启的时候报这个错，我上网查了一下，说是状态不兼容，但是我的作业都是新的作业启动的，没有根据之前的ck恢复，然后跑一段时间就报这个错，它是自动重启的时候，就报这个错了，这个有遇到过吗？有没有什么解决办法？ 强调：作业是新的，没有基于之前的作业的ck进行重启。 | | Jason_H | | hyb_he...@163.com | -- Best, Hangxiang.
回复： flink自动重启出错
您好，具体设置如下： public static final MapStateDescriptor quantityJudgeStateDescriptor = new MapStateDescriptor<>( "quantityJudgeMapState", String.class, Integer.class); mistakeUpgradeRuleState = getRuntimeContext().getMapState(Descriptors.quantityJudgeStateDescriptor); // 设置状态TTL为 1天 StateTtlConfig stateTtlConfig = StateTtlConfig.newBuilder(Time.days(1)).build(); Descriptors.quantityJudgeStateDescriptor.enableTimeToLive(stateTtlConfig); | | Jason_H | | hyb_he...@163.com | 回复的原邮件 | 发件人 | Hangxiang Yu | | 发送日期 | 2022年8月24日 13:12 | | 收件人 | | | 主题 | Re: flink自动重启出错 | 是DS作业吗？可以share下使用state的部分吗？ On Sat, Aug 20, 2022 at 3:35 PM Jason_H wrote: 您好，改过任务，但是 是以新的任务启动的，改动很大，并不依赖之前老的任务 | | Jason_H | | hyb_he...@163.com | 回复的原邮件 | 发件人 | Michael Ran | | 发送日期 | 2022年8月20日 15:31 | | 收件人 | tsreape...@gmail.com | | 主题 | 回复：flink自动重启出错 | 改过任务吗? | | greemqq...@163.com | | 邮箱：greemqq...@163.com | 回复的原邮件 | 发件人 | Jason_H | | 日期 | 2022年08月19日 11:52 | | 收件人 | flink中文邮件组 | | 抄送至 | | | 主题 | flink自动重启出错 | cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer must not be incompatible with the old state serializer 大家好，我最近遇到一个很奇怪的问题，我的作业自动重启的时候报这个错，我上网查了一下，说是状态不兼容，但是我的作业都是新的作业启动的，没有根据之前的ck恢复，然后跑一段时间就报这个错，它是自动重启的时候，就报这个错了，这个有遇到过吗？有没有什么解决办法？ 强调：作业是新的，没有基于之前的作业的ck进行重启。 | | Jason_H | | hyb_he...@163.com | -- Best, Hangxiang.
Re: pyflink内存管理
你好， python部分的内存算flink taskmanager 配置的内存，你应该可以用参数 *'taskmanager.memory.task.off-heap.size* 来配置，可以参考这个问题： https://stackoverflow.com/questions/64323031/pyflink-1-11-2-couldn-t-configure-taskmanager-memory-task-off-heap-size-proper On Wed, 24 Aug 2022 at 1:05 PM, yidan zhao wrote: > 如题，pyflink场景的任务，内存是如何管理呢。 > > python部分的内存是否算入flink TaskManager配置的内存中呢？ > 比如python算子通过多进程做各种复杂的运算，这部分内存占用是否算入flink呢？ > > > > —— > 如果不算的话，使用pyflink时，容器内存和flink TaskManager内存配置是不是需要预留空间？ >
Re: [ANNOUNCE] Apache Flink 1.15.2 released
Thanks Danny for your effort! Best regards, Jing On Wed, Aug 24, 2022 at 11:43 PM Danny Cranmer wrote: > The Apache Flink community is very happy to announce the release of Apache > Flink 1.15.2, which is the second bugfix release for the Apache Flink 1.15 > series. > > Apache Flink® is an open-source stream processing framework for > distributed, high-performing, always-available, and accurate data streaming > applications. > > The release is available for download at: > https://flink.apache.org/downloads.html > > Please check out the release blog post for an overview of the improvements > for this bugfix release: > https://flink.apache.org/news/2022/08/25/release-1.15.2.html > > The full release notes are available in Jira: > > https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315522=12351829 > > We would like to thank all contributors of the Apache Flink community who > made this release possible! > > Regards, > Danny Cranmer >
[ANNOUNCE] Apache Flink 1.15.2 released
The Apache Flink community is very happy to announce the release of Apache Flink 1.15.2, which is the second bugfix release for the Apache Flink 1.15 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming applications. The release is available for download at: https://flink.apache.org/downloads.html Please check out the release blog post for an overview of the improvements for this bugfix release: https://flink.apache.org/news/2022/08/25/release-1.15.2.html The full release notes are available in Jira: https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315522=12351829 We would like to thank all contributors of the Apache Flink community who made this release possible! Regards, Danny Cranmer
Re: flink自动重启出错
你好 ～可以贴下更详细的报错 Hangxiang Yu 于2022年8月24日周三 13:10写道： > 是DS作业吗？可以share下使用state的部分吗？ > > On Sat, Aug 20, 2022 at 3:35 PM Jason_H wrote: > > > 您好，改过任务，但是 是以新的任务启动的，改动很大，并不依赖之前老的任务 > > > > > > | | > > Jason_H > > | > > | > > hyb_he...@163.com > > | > > 回复的原邮件 > > | 发件人 | Michael Ran | > > | 发送日期 | 2022年8月20日 15:31 | > > | 收件人 | tsreape...@gmail.com | > > | 主题 | 回复：flink自动重启出错 | > > 改过任务吗? > > > > > > > > | | > > greemqq...@163.com > > | > > | > > 邮箱：greemqq...@163.com > > | > > > > > > > > > > 回复的原邮件 > > | 发件人 | Jason_H | > > | 日期 | 2022年08月19日 11:52 | > > | 收件人 | flink中文邮件组 | > > | 抄送至 | | > > | 主题 | flink自动重启出错 | > > cause by: java.lang.RuntimeException: Error while getting state > > org.apache.flink.util.StateMigrationException: For heap backends, the new > > state serializer must not be incompatible with the old state serializer > > > > > 大家好，我最近遇到一个很奇怪的问题，我的作业自动重启的时候报这个错，我上网查了一下，说是状态不兼容，但是我的作业都是新的作业启动的，没有根据之前的ck恢复，然后跑一段时间就报这个错，它是自动重启的时候，就报这个错了，这个有遇到过吗？有没有什么解决办法？ > > 强调：作业是新的，没有基于之前的作业的ck进行重启。 > > > > > > | | > > Jason_H > > | > > | > > hyb_he...@163.com > > | > > > > -- > Best, > Hangxiang. >
退订
退订 xuxuewe...@163.com
