非常感谢！！！ 其它的几条试验过。
关于第6条，【定期触发清理任务】，pyflink 1.16.2中，如何实现？我没找到对应的API。 len...@126.com 发件人： Mack Liu 发送时间： 2024-12-03 21:31 收件人： user-zh 主题： Re: 寻找pyflink技术专家，做有偿技术咨询 你好，你们可以尝试下以步骤看看： 1、尽可能避免高并发的keyBy操作，尤其是在状态很大的情况下。 2、考虑引入 Flink 自带的 RocksDB 状态后端或类似的高效存储方案，减少内存压力和加快状态访问速度。 3、如果场景允许，适当引入窗口操作进行批量处理，以减少实时计算的频繁状态更新。 4、通过调节taskmanager.memory.task.off-heap，减少JVM堆外内存的使用，提高内存使用效率。 5、尝试增加TM节点的线程数，利用Flink的并行计算能力优化CPU利用率。 6、在每次删除操作后，手动调用mapState.clear()，清理未释放的内存，同时定期触发清理任务。 len...@126.com <len...@126.com> 于2024年12月2日周一 20:10写道： > Dear All： > > 我司最近在大规模使用pyflink > 1.16.2（单个作业5000核，pyflink集群作业需要约70000核）时，遇见了一些性能问题，测试了很多文章提到的优化项，目前效果有待提高， > > 也遇见了pyflink的mapstate内存泄漏问题，但是尚未定位根因。 > > 我们部门计划通过付费咨询，请教apache flink社区的技术专家来我们公司，指导我们解决架构设计，性能等问题。 > > 技术专家所耗费的时间和咨询费用（预算超过20W），都可以商量，我们申请了足够的预算做这件事儿。 > > 邮件列表中的任何人都可以向我推荐pyflink技术专家，非常感谢！！！ > > 联系方式： > len...@126.com > > 手机号： > 132 6048 0916 > > > > len...@126.com >
