Re: Re: flink1.10.1在yarn上无法写入kafka的问题

2020-07-09 文章 m...@sinoiov.com
: flink1.10.1在yarn上无法写入kafka的问题 Hi 从 org.apache.kafka.common.errors.InvalidTopicException: 这个异常来看,是 topic invalid 导致,具体的可以看一下 InvalidTopicException 的介绍[1], 这上面说的有可能是 名字太长,或者有非法字符等,这也可以查看一下 [1] https://www.javadoc.io/doc/org.apache.kafka/kafka-clients/2.0.0/org/apache/kafka/common/errors

Re: Re: flink1.10.1在yarn上无法写入kafka的问题

2020-07-09 文章 Congxian Qiu
ox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:186) > >> at > >> > org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:485) > >> at > >> > org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamT

Re: Re: flink1.10.1在yarn上无法写入kafka的问题

2020-07-09 文章 m...@sinoiov.com
M. 13701177502 F. 010-50822899 E. m...@sinoiov.com 地址:北京市海淀区东北旺西路8号中关村软件园27号院千方科技大厦A座(100085) 发件人: LakeShen 发送时间: 2020-07-10 10:10 收件人: user-zh 主题: Re: Re: flink1.10.1在yarn上无法写入kafka的问题 你的 Yarn 环境,Flink 任务使用的 Kafka 地址,应该是 Yarn 环境的 kafka broker 地址。 LakeShen 于2020年7月10日周五 上午10:08写道

Re: Re: flink1.10.1在yarn上无法写入kafka的问题

2020-07-09 文章 LakeShen
at >> org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:485) >> at >> org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:469) >> at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:708) >>

Re: Re: flink1.10.1在yarn上无法写入kafka的问题

2020-07-09 文章 LakeShen
kmanager.Task - > Freeing task resources for async wait operator -> Sink: Unnamed (1/2) > (cdbe008dcdb76813f88c4a48b9907d77). > 2020-07-09 19:33:41,615 INFO org.apache.flink.runtime.taskmanager.Task - > Ensuring all FileSystem streams are closed for task async wait operator -> >

Re: Re: flink1.10.1在yarn上无法写入kafka的问题

2020-07-09 文章 m...@sinoiov.com
resources for async wait operator -> Sink: Unnamed (1/2) (cdbe008dcdb76813f88c4a48b9907d77). 2020-07-09 19:33:41,615 INFO org.apache.flink.runtime.taskmanager.Task - Ensuring all FileSystem streams are closed for task async wait operator -> Sink: Unnamed (1/2) 发件人: zhisheng 发送时间: 2020-07-09 21:06 收件人: user-zh 主题: R

Re: flink1.10.1在yarn上无法写入kafka的问题

2020-07-09 文章 zhisheng
hi,maqi 有完整的日志吗?在这个异常之前还有其他的异常信息吗?如果有,可以提供一下! Best, zhisheng m...@sinoiov.com 于2020年7月9日周四 下午7:57写道: > > 请教各位: > flink任务在本机写入测试环境kafka集群没问题, > > 但是上传到yarn环境,就是写不进去,其他job运行在yarn可以写入测试环境的kafka > > 异常信息如下: > > 2020-07-09 19:17:33,126 INFO > org.apache.flink.runtime.executiongraph.ExecutionGraph