回复:(无主题)

2023-06-15 文章 海风
多谢多谢 回复的原邮件 | 发件人 | Weihua Hu | | 日期 | 2023年06月14日 12:32 | | 收件人 | user-zh@flink.apache.org | | 抄送至 | | | 主题 | Re: (无主题) | > > 这个状态变量是否需要用transient来修饰 ValueState 再 Rich fuction 的 open 方法中被初始化,不应该被序列化和反序列化,建议使用 transient 来修饰。 但实际上自定义函数的序列化、反序列化只在任务部署阶段执行,而且初始状态下 ValueState 的值是

Re: flink sql作业指标名称过长把prometheus内存打爆问题

2023-06-15 文章 daniel sun
退订 On Thu, Jun 15, 2023 at 7:23 PM im huzi wrote: > 退订 > > On Tue, Jun 13, 2023 at 08:51 casel.chen wrote: > > > 线上跑了200多个flink > > > sql作业,接了prometheus指标(prometheus定期来获取作业指标)监控后没跑一会儿就将prometheus内存打爆(开了64GB内存),查了一下是因为指标名称过长导致的。 > > flink > > >

Re: flink sql作业指标名称过长把prometheus内存打爆问题

2023-06-15 文章 im huzi
退订 On Tue, Jun 13, 2023 at 08:51 casel.chen wrote: > 线上跑了200多个flink > sql作业,接了prometheus指标(prometheus定期来获取作业指标)监控后没跑一会儿就将prometheus内存打爆(开了64GB内存),查了一下是因为指标名称过长导致的。 > flink > sql作业的指标名称一般是作业名称+算子名称组成的,而算子名称是由sql内容拼出来的,在select字段比较多或sql较复杂的情况下容易生成过长的名称, > 请问这个问题有什么好的办法解决吗?

Re:Re: flink写kafka 事务问题

2023-06-15 文章 xuguang
是这个原因,学习了,感谢! 在 2023-06-15 16:25:30,"yuanfeng hu" 写道: >消费者要设置事务隔离级别 > >> 2023年6月15日 16:23,163 写道: >> >> 据我了解,kafka支持事务,开启checkpoint及exactly-once后仅当checkpoint执行完毕后才能将数据写入kafka中。测试:flink读取kafka的topic >> a写入topic b,开启checkpoint及exactly-once,flink未执行完新一次的checkpoint,但topic >>

Re: flink写kafka 事务问题

2023-06-15 文章 yuanfeng hu
消费者要设置事务隔离级别 > 2023年6月15日 16:23,163 写道: > > 据我了解,kafka支持事务,开启checkpoint及exactly-once后仅当checkpoint执行完毕后才能将数据写入kafka中。测试:flink读取kafka的topic > a写入topic b,开启checkpoint及exactly-once,flink未执行完新一次的checkpoint,但topic > b已经可以消费到新数据,这是什么原因?请大家指教!

flink写kafka 事务问题

2023-06-15 文章 163
据我了解,kafka支持事务,开启checkpoint及exactly-once后仅当checkpoint执行完毕后才能将数据写入kafka中。测试:flink读取kafka的topic a写入topic b,开启checkpoint及exactly-once,flink未执行完新一次的checkpoint,但topic b已经可以消费到新数据,这是什么原因?请大家指教!