Hi 阿华, 数据延迟有可能是逻辑中某个环节比较耗时,比如查询 mysql,或者某处逻辑较复杂等等。
可以看看自己代码中,有么有比较耗时的逻辑。同时可以将自己认为比较耗时的地方,加上日志,看下处理时间。 Best, LakeShen 阿华田 <[email protected]> 于2020年4月29日周三 上午9:21写道: > 好的 感谢大佬 > > > > | | > 王志华 > | > | > [email protected] > | > 签名由网易邮箱大师定制 > > > 在2020年04月29日 09:08,zhisheng<[email protected]> 写道: > hi, > > 数据延迟不一定会产生背压,举个例子,Flink 写 HBase 的作业,Source 并行度为 5,Sink 并行度 > 10,这种情况下游写入速度很快的,可能写入速度超过 Flink 消费 Kafka 的速度,这种情况就不会出现背压的问题。 > > 1、建议排查一下作业的并行度(可以设置和 Kafka 分区数一样); > > 2、背压监控是通过 Flink Web UI 监控查看的,还是通过指标来判断的? > > 3、对于数据延迟建议还是得对 Kafka 消费的 Topic 进行消费组的监控,加上 Lag 告警,这样可以及时知道数据延迟情况 > > Best ! > > zhisheng > > 阿华田 <[email protected]> 于2020年4月28日周二 上午9:37写道: > > 线上任务对背压进行了监控,背压一直正常,任务却出现了大量的数据延迟,数据延迟不会产生背压吗? > > > | | > 王志华 > | > | > [email protected] > | > 签名由网易邮箱大师定制 > > >
