Re: pyflink 和 add_jars 的 add_classpaths 路径。
1）尽量用 fat jar，比如 flink-sql-connector-kafka-1.15.0.jar 2）本地运行的话，是mini-cluster方式，执行Flink作业的时候才启动JM/TM，不需要提前部署 Flink。 On Thu, Jul 28, 2022 at 10:08 AM yidan zhao wrote: > 我是本地直接ide内run。 > > Weihua Hu 于2022年7月27日周三 22:10写道： > > > > Hi, 你是怎么提交的任务呢？是提交到远端的 session cluster 上吗？有其他的相关日志吗？ > > > > Best, > > Weihua > > > > > > On Wed, Jul 27, 2022 at 5:36 PM yidan zhao wrote: > > > > > 而且pyflink既然打包了flink的完整包，那么真正部署运行的时候是用这个呢？还是需要执行的机器上单独部署一个flink呢？ > > > > > > yidan zhao 于2022年7月27日周三 17:34写道： > > > > > > > > 我将这3个jar放到pyflink的lib下则是可以的。通过 add_jar 方式给出是不可以的。有人知道原因吗。 > > > > > > > > yidan zhao 于2022年7月27日周三 10:40写道： > > > > > > > > > > pyflink情况 flink-sql-connector-kafka-1.15.0.jar 可以。 > > > > > 但 flink-connector-base-1.15.0.jar + > flink-connector-kafka-1.15.0.jar + > > > > > kafka-clients-2.8.1.jar 却报： > > > > > py4j.protocol.Py4JError: > > > > > org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer does > > > > > not exist in the JVM > > > > > > > > > > Weihua Hu 于2022年7月26日周二 21:21写道： > > > > > > > > > > > > 最终会放到 pipeline.jars 配置中，在提交作业时上传到 blobServer > > > > > > > > > > > > Best, > > > > > > Weihua > > > > > > > > > > > > > > > > > > On Tue, Jul 26, 2022 at 5:40 PM yidan zhao > > > wrote: > > > > > > > > > > > > > 如题，我看注释和文档。 > > > > > > > add_jars 是添加要upload到cluster的jar，那么上传到什么路径呢？ > > > > > > > > > > >
Re: pyflink 和 add_jars 的 add_classpaths 路径。
我是本地直接ide内run。 Weihua Hu 于2022年7月27日周三 22:10写道： > > Hi, 你是怎么提交的任务呢？是提交到远端的 session cluster 上吗？有其他的相关日志吗？ > > Best, > Weihua > > > On Wed, Jul 27, 2022 at 5:36 PM yidan zhao wrote: > > > 而且pyflink既然打包了flink的完整包，那么真正部署运行的时候是用这个呢？还是需要执行的机器上单独部署一个flink呢？ > > > > yidan zhao 于2022年7月27日周三 17:34写道： > > > > > > 我将这3个jar放到pyflink的lib下则是可以的。通过 add_jar 方式给出是不可以的。有人知道原因吗。 > > > > > > yidan zhao 于2022年7月27日周三 10:40写道： > > > > > > > > pyflink情况 flink-sql-connector-kafka-1.15.0.jar 可以。 > > > > 但 flink-connector-base-1.15.0.jar + flink-connector-kafka-1.15.0.jar + > > > > kafka-clients-2.8.1.jar 却报： > > > > py4j.protocol.Py4JError: > > > > org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer does > > > > not exist in the JVM > > > > > > > > Weihua Hu 于2022年7月26日周二 21:21写道： > > > > > > > > > > 最终会放到 pipeline.jars 配置中，在提交作业时上传到 blobServer > > > > > > > > > > Best, > > > > > Weihua > > > > > > > > > > > > > > > On Tue, Jul 26, 2022 at 5:40 PM yidan zhao > > wrote: > > > > > > > > > > > 如题，我看注释和文档。 > > > > > > add_jars 是添加要upload到cluster的jar，那么上传到什么路径呢？ > > > > > > > >
Re: pyflink 和 add_jars 的 add_classpaths 路径。
Hi, 你是怎么提交的任务呢？是提交到远端的 session cluster 上吗？有其他的相关日志吗？ Best, Weihua On Wed, Jul 27, 2022 at 5:36 PM yidan zhao wrote: > 而且pyflink既然打包了flink的完整包，那么真正部署运行的时候是用这个呢？还是需要执行的机器上单独部署一个flink呢？ > > yidan zhao 于2022年7月27日周三 17:34写道： > > > > 我将这3个jar放到pyflink的lib下则是可以的。通过 add_jar 方式给出是不可以的。有人知道原因吗。 > > > > yidan zhao 于2022年7月27日周三 10:40写道： > > > > > > pyflink情况 flink-sql-connector-kafka-1.15.0.jar 可以。 > > > 但 flink-connector-base-1.15.0.jar + flink-connector-kafka-1.15.0.jar + > > > kafka-clients-2.8.1.jar 却报： > > > py4j.protocol.Py4JError: > > > org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer does > > > not exist in the JVM > > > > > > Weihua Hu 于2022年7月26日周二 21:21写道： > > > > > > > > 最终会放到 pipeline.jars 配置中，在提交作业时上传到 blobServer > > > > > > > > Best, > > > > Weihua > > > > > > > > > > > > On Tue, Jul 26, 2022 at 5:40 PM yidan zhao > wrote: > > > > > > > > > 如题，我看注释和文档。 > > > > > add_jars 是添加要upload到cluster的jar，那么上传到什么路径呢？ > > > > > >
Re: pyflink 和 add_jars 的 add_classpaths 路径。
而且pyflink既然打包了flink的完整包，那么真正部署运行的时候是用这个呢？还是需要执行的机器上单独部署一个flink呢？ yidan zhao 于2022年7月27日周三 17:34写道： > > 我将这3个jar放到pyflink的lib下则是可以的。通过 add_jar 方式给出是不可以的。有人知道原因吗。 > > yidan zhao 于2022年7月27日周三 10:40写道： > > > > pyflink情况 flink-sql-connector-kafka-1.15.0.jar 可以。 > > 但 flink-connector-base-1.15.0.jar + flink-connector-kafka-1.15.0.jar + > > kafka-clients-2.8.1.jar 却报： > > py4j.protocol.Py4JError: > > org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer does > > not exist in the JVM > > > > Weihua Hu 于2022年7月26日周二 21:21写道： > > > > > > 最终会放到 pipeline.jars 配置中，在提交作业时上传到 blobServer > > > > > > Best, > > > Weihua > > > > > > > > > On Tue, Jul 26, 2022 at 5:40 PM yidan zhao wrote: > > > > > > > 如题，我看注释和文档。 > > > > add_jars 是添加要upload到cluster的jar，那么上传到什么路径呢？ > > > >
Re: pyflink 和 add_jars 的 add_classpaths 路径。
我将这3个jar放到pyflink的lib下则是可以的。通过 add_jar 方式给出是不可以的。有人知道原因吗。 yidan zhao 于2022年7月27日周三 10:40写道： > > pyflink情况 flink-sql-connector-kafka-1.15.0.jar 可以。 > 但 flink-connector-base-1.15.0.jar + flink-connector-kafka-1.15.0.jar + > kafka-clients-2.8.1.jar 却报： > py4j.protocol.Py4JError: > org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer does > not exist in the JVM > > Weihua Hu 于2022年7月26日周二 21:21写道： > > > > 最终会放到 pipeline.jars 配置中，在提交作业时上传到 blobServer > > > > Best, > > Weihua > > > > > > On Tue, Jul 26, 2022 at 5:40 PM yidan zhao wrote: > > > > > 如题，我看注释和文档。 > > > add_jars 是添加要upload到cluster的jar，那么上传到什么路径呢？ > > >
Re: pyflink 和 add_jars 的 add_classpaths 路径。
pyflink情况 flink-sql-connector-kafka-1.15.0.jar 可以。 但 flink-connector-base-1.15.0.jar + flink-connector-kafka-1.15.0.jar + kafka-clients-2.8.1.jar 却报： py4j.protocol.Py4JError: org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer does not exist in the JVM Weihua Hu 于2022年7月26日周二 21:21写道： > > 最终会放到 pipeline.jars 配置中，在提交作业时上传到 blobServer > > Best, > Weihua > > > On Tue, Jul 26, 2022 at 5:40 PM yidan zhao wrote: > > > 如题，我看注释和文档。 > > add_jars 是添加要upload到cluster的jar，那么上传到什么路径呢？ > >
Re: pyflink 和 add_jars 的 add_classpaths 路径。
最终会放到 pipeline.jars 配置中，在提交作业时上传到 blobServer Best, Weihua On Tue, Jul 26, 2022 at 5:40 PM yidan zhao wrote: > 如题，我看注释和文档。 > add_jars 是添加要upload到cluster的jar，那么上传到什么路径呢？ >
pyflink 和 add_jars 的 add_classpaths 路径。
如题，我看注释和文档。 add_jars 是添加要upload到cluster的jar，那么上传到什么路径呢？
