这样还是不行,我尝试flink-connector-kafka-0.11_2.11-1.11.0.jar放到lib下,报了另外一个问题:
Caused by: java.lang.ClassNotFoundException:
org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactoryBase


另外,我是用 bin/flink run -yid xxx xxx.jar 的方式提交任务的,报错是直接在终端报错,没有提交到flink
jobmanager上。

Leonard Xu <xbjt...@gmail.com> 于2020年7月13日周一 下午3:38写道:

> Hi
> 你可以试下把 flink-connector-kafka_2.11-1.11.0.jar
> 的依赖也放lib下试下(pom中删掉),排除是否因为提交作业的方式导致没有正确加载 还是 其他原因。
>
> 祝好
>
> > 在 2020年7月13日,15:28,王松 <sdlcwangson...@gmail.com> 写道:
> >
> > 您好,我只加载了flink-sql-connector-kafka,另外 scope没有设置,使用了默认值compile。
> >
> > 我机器上flink/lib下jar包如下:
> > -rw-rw-r-- 1 hadoop hadoop    117719 6月  30 12:41 flink-avro-1.11.0.jar
> > -rw-r--r-- 1 hadoop hadoop     90782 7月   8 10:09 flink-csv-1.11.0.jar
> > -rw-r--r-- 1 hadoop hadoop 108349203 7月   8 10:09
> flink-dist_2.11-1.11.0.jar
> > -rw-r--r-- 1 hadoop hadoop     94863 7月   8 10:09 flink-json-1.11.0.jar
> > -rw-r--r-- 1 hadoop hadoop   7712156 7月   8 10:09
> > flink-shaded-zookeeper-3.4.14.jar
> > -rw-r--r-- 1 hadoop hadoop  33325754 7月   8 10:09
> > flink-table_2.11-1.11.0.jar
> > -rw-r--r-- 1 hadoop hadoop  37330521 7月   8 10:09
> > flink-table-blink_2.11-1.11.0.jar
> > -rw-r--r-- 1 hadoop hadoop     67114 7月   8 10:09
> log4j-1.2-api-2.12.1.jar
> > -rw-r--r-- 1 hadoop hadoop    276771 7月   8 10:09 log4j-api-2.12.1.jar
> > -rw-r--r-- 1 hadoop hadoop   1674433 7月   8 10:09 log4j-core-2.12.1.jar
> > -rw-r--r-- 1 hadoop hadoop     23518 7月   8 10:09
> > log4j-slf4j-impl-2.12.1.jar
> >
> > Leonard Xu <xbjt...@gmail.com> 于2020年7月13日周一 下午3:05写道:
> >
> >> Hi,
> >> flink-connector-kafka_${scala.binary.version 和
> >> flink-sql-connector-kafka_${scala.binary.version
> >> 只用加载一个应该就好了,前者的话是dataStream 或者 Table API 程序使用,
> >> 后者的话主要是对前者做了shade处理,方便用户在 SQL
> >> Client的环境中使用。理论上两个都应该ok的,还是同样的错误看起来是依赖没有正确的加载,不知道你的依赖的scope是如何制定的,
> >> 可以检查下yarn集群上Flink对应的lib下是否有对应的依赖了或者依赖的版本是否正确。
> >>
> >> [1] 中的话是有SQL Client JAR 的下载链接,就是
> >> flink-sql-connector-kafka_${scala.binary.version jar 包的下载链接,你看一看下。
> >>
> >> 祝好
> >> Leonard Xu
> >>
> >>> 在 2020年7月13日,14:42,王松 <sdlcwangson...@gmail.com> 写道:
> >>>
> >>> @Leonard Xu,
> >>> 非常感谢您的回复,我试了试您说的方式,还是报同样的错误,另外,我在 [1]
> >>> 中并没有看到关于flink-sql-connecter-kafka相关的信息重新的pom如下:
> >>>
> >>> [1]
> >>>
> >>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html
> >>> =============================
> >>>         <dependency>
> >>>           <groupId>org.apache.flink</groupId>
> >>>
> >>>
> >>
> <artifactId>flink-sql-connector-kafka_${scala.binary.version}</artifactId>
> >>>           <version>${flink.version}</version>
> >>>       </dependency>
> >>>
> >>>        <!--<dependency>-->
> >>>           <!--<groupId>org.apache.flink</groupId>-->
> >>>
> >>>
> >>
> <!--<artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>-->
> >>>           <!--<version>${flink.version}</version>-->
> >>>       <!--</dependency>-->
> >>>       <!--<dependency>-->
> >>>           <!--<groupId>org.apache.flink</groupId>-->
> >>>
> >> <!--<artifactId>flink-connector-kafka-0.11_2.11</artifactId>-->
> >>>           <!--<version>${flink.version}</version>-->
> >>>           <!--&lt;!&ndash;<scope>compile</scope>&ndash;&gt;-->
> >>>       <!--</dependency>-->
> >>>
> >>>       <!--<dependency>-->
> >>>           <!--<groupId>org.apache.flink</groupId>-->
> >>>           <!--<artifactId>flink-connector-kafka_2.11</artifactId>-->
> >>>           <!--<version>${flink.version}</version>-->
> >>>       <!--</dependency>-->
> >>> =============================
> >>>
> >>> Leonard Xu <xbjt...@gmail.com> 于2020年7月13日周一 下午1:39写道:
> >>>
> >>>> Hi, 王松
> >>>>
> >>>> 这个报错是pom中缺少了 Kafka SQL connector的依赖,你引入的依赖都是Kafka datastream
> connector
> >>>>
> 的依赖,正确的依赖是:flink-sql-connector-kafka-${version}_${scala.binary.version}
> >>>> 可以参考官网文档[1], 查看和下载SQL Client Jar. 另外, Kafka SQL connector 和 Kafka
> >>>> datastream  connector 同时引用是会冲突的,请根据你的需要使用。
> >>>>
> >>>>
> >>>> 祝好,
> >>>> Leonard Xu
> >>>> [1]
> >>>>
> >>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html
> >>>> <
> >>>>
> >>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html
> >>>>>
> >>>>>      <dependency>
> >>>>>          <groupId>org.apache.flink</groupId>
> >>>>>
> >>>>>
> <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
> >>>>>          <version>${flink.version}</version>
> >>>>>      </dependency>
> >>>>>      <dependency>
> >>>>>          <groupId>org.apache.flink</groupId>
> >>>>>
> >>>>>
> >>>>
> >>
> <artifactId>flink-connector-kafka-0.11_${scala.binary.version}</artifactId>
> >>>>>          <version>${flink.version}</version>
> >>>>>      </dependency>
> >>>>>      <dependency>
> >>>>>          <groupId>org.apache.flink</groupId>
> >>>>>
> >>>>>
> <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
> >>>>>          <version>${flink.version}</version>
> >>>>>      </dependency>
> >>>>>      <dependency>
> >>>>>          <groupId>org.apache.flink</groupId>
> >>>>>          <artifactId>flink-core</artifactId>
> >>>>>          <version>${flink.version}</version>
> >>>>>      </dependency>
> >>>>> =============================================
> >>>>
> >>>>
> >>
> >>
>
>

回复