flink 提交jar包是 指定-ytm不起作用。想知道什么原因?
请教个问题
ytm参数不生效,什么原因呀?
??
??flink 1.7.2??YARN Session??Hadoop 2.7.3??hdfs
namenode??haHADOOP_HOME,YARN_CONF_DIR??HADOOP_CONF_DIR??HADOOP_CLASSPATHflink_conf.yamlfs.hdfs.hadoopconf
2020-04-10 19:12:02,908 INFO
??
??flink 1.7.2??YARN Session??Hadoop 2.7.3??hdfs
namenode??haHADOOP_HOME,YARN_CONF_DIR??HADOOP_CONF_DIR??HADOOP_CLASSPATHflink_conf.yamlfs.hdfs.hadoopconf
2020-04-10 19:12:02,908 INFO
感谢flink道友解答,谢谢!
目前是通过maven来开发flink程序,只是编译打包到集群运行的时候缺少kafka依赖包,flink-connector-kafka_2.11-1.10.0.jar,flink-connector-kafka-base_2.11-1.10.0.jar,kafka-clients-1.0.1-kafka-3.1.1.jar
这些添加到lib后,程序运行成功!
发件人: 刘宇宝
发送时间: 2020-04-13 14:59
收件人: user-zh@flink.apache.org
主题: Re: Flink
感谢各位flink道友帮忙解答
检查了下,/lib
中缺少了:flink-connector-kafka_2.11-1.10.0.jar,flink-connector-kafka-base_2.11-1.10.0.jar,kafka-clients-1.0.1-kafka-3.1.1.jar
(根据自己的集群kafka版本来选择)这些jar,添加后程序运行成功!
发件人: 1035262083
发送时间: 2020-04-13 14:33
收件人: user-zh; user-zh
主题: 回复:Flink
flink-connector-elasticsearch-base_2.11-1.10.0.jar
----
??: "wangweigu...@stevegame.cn"http://www.stevengame.com/
你好:
我在用Flink 1.10读取kafka数据,本地IDEA环境执行没有问题,将代码编译打包(不是fat
jar)到集群上运行测试,执行提示:java.lang.NoClassDefFoundError:
org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题。
我在Flink 1.10集群的每个节点下的
/lib下都添加了kafka依赖包:flink-connector-kafka_2.11-1.10.0.jar
我启动的命令:
我先启动了一个Yarn