考虑 currentOffsets 吧 杨浩 <[email protected]> 于2021年10月27日周三 下午5:40写道：
> 明白这个逻辑，这个就导致consumer > lag值不能反映真实情况，而很难监控系统延迟<br/><br/>一个场景：业务状态很大，5分钟保存一次，QPS在10000~1000000之间波动，那么需要配置延迟大于5*60*1000000来监控系统，这会导致监控非常不准确 > 在 2021-10-27 17:34:13，"Qingsheng Ren" <[email protected]> 写道： > >你好！ > > > >如果使用的是基于 FLIP-27 实现的 KafkaSource，可以配置 enable.auto.commit = true 和 > auto.commit.interval.ms = {commit_interval} 使 KafkaSource 按照指定的时间间隔自动提交 > offset。基于 SourceFunction 的 FlinkKafkaConsumer 在 checkpoint 开启时不支持自动提交，只能在 > checkpoint 时提交位点。 > > > >-- > >Best Regards, > > > >Qingsheng Ren > >Email: [email protected] > >On Oct 27, 2021, 4:59 PM +0800, 杨浩 <[email protected]>, wrote: > >> 请问有办法和现有监控兼容么？开启checkpoint时，让消费组的offset实时更新 > >> 在 2021-10-25 21:58:28，"杨浩" <[email protected]> 写道： > >> > currentOffsets理论上OK，但是这边云上监控系统中的kafka未消费量使用的是committedOffsets > >> > 在 2021-10-25 10:31:12，"Caizhi Weng" <[email protected]> 写道： > >> > > Hi！ > >> > > > >> > > 这里的 offset 是 kafka source 的 offset 吗？其实没必要通过 checkpoint 读取 > offset，可以通过 > >> > > metrics 读取，见 [1]。 > >> > > > >> > > [1] > >> > > > https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/metrics/#kafka-connectors > >> > > > >> > > 杨浩 <[email protected]> 于2021年10月25日周一 上午10:20写道： > >> > > > >> > > > > 请问下，如果启用checkpoint，因为状态比较大，checkpoint间隔设置比较大，如何让offset提交的比较快，这样方便监控程序进度 >
