: flink1.10.1在yarn上无法写入kafka的问题
Hi
从 org.apache.kafka.common.errors.InvalidTopicException: 这个异常来看,是 topic
invalid 导致,具体的可以看一下 InvalidTopicException 的介绍[1], 这上面说的有可能是
名字太长,或者有非法字符等,这也可以查看一下
[1]
https://www.javadoc.io/doc/org.apache.kafka/kafka-clients/2.0.0/org/apache/kafka/common/errors
ox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:186)
> >> at
> >>
> org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:485)
> >> at
> >>
> org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamT
M. 13701177502
F. 010-50822899 E. m...@sinoiov.com
地址:北京市海淀区东北旺西路8号中关村软件园27号院千方科技大厦A座(100085)
发件人: LakeShen
发送时间: 2020-07-10 10:10
收件人: user-zh
主题: Re: Re: flink1.10.1在yarn上无法写入kafka的问题
你的 Yarn 环境,Flink 任务使用的 Kafka 地址,应该是 Yarn 环境的 kafka broker 地址。
LakeShen 于2020年7月10日周五 上午10:08写道
at
>> org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:485)
>> at
>> org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:469)
>> at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:708)
>>
kmanager.Task -
> Freeing task resources for async wait operator -> Sink: Unnamed (1/2)
> (cdbe008dcdb76813f88c4a48b9907d77).
> 2020-07-09 19:33:41,615 INFO org.apache.flink.runtime.taskmanager.Task -
> Ensuring all FileSystem streams are closed for task async wait operator ->
>
resources for async wait operator -> Sink: Unnamed (1/2)
(cdbe008dcdb76813f88c4a48b9907d77).
2020-07-09 19:33:41,615 INFO org.apache.flink.runtime.taskmanager.Task -
Ensuring all FileSystem streams are closed for task async wait operator ->
Sink: Unnamed (1/2)
发件人: zhisheng
发送时间: 2020-07-09 21:06
收件人: user-zh
主题: R
hi,maqi
有完整的日志吗?在这个异常之前还有其他的异常信息吗?如果有,可以提供一下!
Best,
zhisheng
m...@sinoiov.com 于2020年7月9日周四 下午7:57写道:
>
> 请教各位:
> flink任务在本机写入测试环境kafka集群没问题,
>
> 但是上传到yarn环境,就是写不进去,其他job运行在yarn可以写入测试环境的kafka
>
> 异常信息如下:
>
> 2020-07-09 19:17:33,126 INFO
> org.apache.flink.runtime.executiongraph.ExecutionGraph