hi,阿华田 你可以检查一下作业重启的时候,对应 Kafka 集群的 broker 机器上面的监控信息,看看对应时间是否有负载变高的情况,从而验证一下是否因为机器负载变高导致的读取超时?
Best! zhisheng Yichao Yang <1048262...@qq.com> 于2020年6月29日周一 下午7:50写道: > Hi > > > 看报错是说 dercd_seeme-3 partition 读取异常,可以检查下上游kafka的该partition是否有异常。 > > > Best, > Yichao Yang > > > > > ------------------ 原始邮件 ------------------ > 发件人: "阿华田"<a15733178...@163.com>; > 发送时间: 2020年6月29日(星期一) 上午10:36 > 收件人: "user-zh"<user-zh@flink.apache.org>; > > 主题: flink读取kafka超时问题 > > > > Caused by: java.lang.Exception: > org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired > before the position for partition dercd_seeme-3 could be determined > 大佬们flink读取kafka遇到过这个错误没?现在情况是 > 每次重启任务都会出现这个错,但是奇怪的是多试几次任务才能运行起来。这个任务的特点读取得topic较多(6个),数据量比较大。难道是读取得数据量太大给kafka集群的broker造成了很大的负载导致请求超时? > > > | | > 阿华田 > | > | > a15733178...@163.com > | > 签名由网易邮箱大师定制