问题1: 只需要在提交作业的机器上有flink即可 问题2: 两种方式都可以 问题3: 是的。lib目录下的jar和用户的jar会一起提交到YARN
> 在 2019年10月30日，上午10:30，hb <[email protected]> 写道： > > hello: > > > 环境: flink1.9.1, on yarn hadoop2.6 > flink只安装在了一台提交的机器上, > > > lib目录下有文件: > flink-dist_2.11-1.9.1.jar > flink-json-1.9.0-sql-jar.jar > flink-shaded-hadoop-2-uber-2.6.5-7.0.jar > flink-sql-connector-kafka_2.11-1.9.0.jar > flink-table_2.11-1.9.1.jar > flink-table-blink_2.11-1.9.1.jar > log4j-1.2.17.jar > slf4j-log4j12-1.7.15.jar > > > ////////////// > flink-shaded-hadoop-2-uber-2.6.5-7.0.jar , > flink-sql-connector-kafka_2.11-1.9.0.jar > flink-json-1.9.0-sql-jar.jar > 这3个包是安装后,拷贝进去的 > > > 问题1:on yarn模式,我是否需要在每台机器上都安装flink软件目录,还是只需要在提交机器上有flink软件目录就行了? > > > 问题2: 我需要用到blink-planner 连接外部kafka(1.1版本,json格式) 来生成sql表,是否 > 需要在lib目录下添加 > flink-sql-connector-kafka_2.11-1.9.0.jar > flink-json-1.9.0-sql-jar.jar > 还是 在pom文件中 指定依赖,打成fat包 > <dependency> > <groupId>org.apache.flink</groupId> > <artifactId>flink-connector-kafka_2.11</artifactId> > <version>${flink.version}</version> > </dependency> > <dependency> > <groupId>org.apache.flink</groupId> > <artifactId>flink-json</artifactId> > <version>${flink.version}</version> > </dependency> > 问题3: flink run on yarn , 会额外附加lib目录下的jar包到用户jar下,再提交到yarn上运行么 > > > > >
