Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效
目前Flink里面的实现确实是这样的，遇到不认识的option就会停下来 所以你去掉-n之后就好了 Best, Yang MuChen <9329...@qq.com> 于2020年6月22日周一 下午9:48写道： > hi,Yang Wang: > > > > HDFS上面staging目录($HOME/.flink/application_id)的*flink-conf.yaml*文件中没有提交命令中指定的-qu和-nm，而且-jm和-tm也是默认值，并不是我参数中指定的值。 > > > 我把“-n”参数去掉后重新执行，所有指定参数全部生效了，应该是不支持的“-n”参数导致后面所有参数失效。 > > > 谢谢大佬的帮助 > > > Best, > MuChen > > > --原始邮件-- > 发件人:"Yang Wang" 发送时间:2020年6月22日(星期一) 晚上8:37 > 收件人:"user-zh" > 主题:Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效 > > > > > 你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml* > 看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。 > > > 另外，-n参数很早就不支持了，这样设置也不会起作用的，都是动态申请TM的 > > > Best, > Yang > > MuChen <9329...@qq.com 于2020年6月22日周一 下午7:32写道： > > hi,all: > > > 我有一个hadoop集群和一台机器A. > > > 我在机器A上，使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink > -nm > fsql-cli gt; /dev/null 2gt;amp;1 > amp;命令，启动了一个yarn-session， > 其中，指定了队列root.flink和应用名fsql-cli. > > > 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致（多次提交，偶尔一致），如图： > https://imgchr.com/i/NJIn4x > > > 应用名为：Flink session cluster > 队列名为：root.default > > > 请问为什么我指定的队列名和应用名没有生效？ > > > flink版本：1.10.0 > flink-conf.yaml配置： > [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$ > jobmanager.rpc.address: localhost > jobmanager.rpc.port: 6123 > jobmanager.heap.size: 1024m > taskmanager.memory.process.size: 2048m > taskmanager.numberOfTaskSlots: 10 > parallelism.default: 1 > jobmanager.execution.failover-strategy: region
?????? ???? yarn-session.sh??????????????????????????????
hi,Yang Wang: HDFSstaging($HOME/.flink/application_id)??*flink-conf.yaml*??-qu??-nm??-jm??-tm ??-n??-n ?? Best, MuChen ---- ??:"Yang Wang"https://imgchr.com/i/NJIn4x ??Flink session cluster ??root.default ?? flink??1.10.0 flink-conf.yaml?? [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$ jobmanager.rpc.address: localhost jobmanager.rpc.port: 6123 jobmanager.heap.size: 1024m taskmanager.memory.process.size: 2048m taskmanager.numberOfTaskSlots: 10 parallelism.default: 1 jobmanager.execution.failover-strategy: region
Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效
你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml* 看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。 另外，-n参数很早就不支持了，这样设置也不会起作用的，都是动态申请TM的 Best, Yang MuChen <9329...@qq.com> 于2020年6月22日周一 下午7:32写道： > hi,all: > > > 我有一个hadoop集群和一台机器A. > > > 我在机器A上，使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm > fsql-cli /dev/null 21 命令，启动了一个yarn-session， > 其中，指定了队列root.flink和应用名fsql-cli. > > > 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致（多次提交，偶尔一致），如图： > https://imgchr.com/i/NJIn4x > > > 应用名为：Flink session cluster > 队列名为：root.default > > > 请问为什么我指定的队列名和应用名没有生效？ > > > flink版本：1.10.0 > flink-conf.yaml配置： > [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$ > jobmanager.rpc.address: localhost > jobmanager.rpc.port: 6123 > jobmanager.heap.size: 1024m > taskmanager.memory.process.size: 2048m > taskmanager.numberOfTaskSlots: 10 > parallelism.default: 1 > jobmanager.execution.failover-strategy: region
???? yarn-session.sh??????????????????????????????
hi,all: hadoop??A. Abin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli /dev/null 21 yarn-session?? root.flinkfsql-cli. yarn https://imgchr.com/i/NJIn4x ??Flink session cluster ??root.default ?? flink??1.10.0 flink-conf.yaml?? [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$ jobmanager.rpc.address: localhost jobmanager.rpc.port: 6123 jobmanager.heap.size: 1024m taskmanager.memory.process.size: 2048m taskmanager.numberOfTaskSlots: 10 parallelism.default: 1 jobmanager.execution.failover-strategy: region
Re: yarn-session.sh 启动 报错
其实直接引入一个全局变量 export HADOOP_CLASSPATH=`hadoop classpath` 就行了。我和你遇到过一样的问题。 tison 于2019年11月18日周一 下午4:50写道： > 你可以改一下 yarn-session.sh 的内容，看一下最后执行的命令是啥，可能 shell 里多了空格导致一些解析上的问题。 > > Best, > tison. > > > 李军 于2019年11月18日周一 下午4:44写道： > > > 找到问题了； > > 是我这个包：flink-shaded-hadoop-2-uber-2.8.3-7.0 (1) 名字错了； > > 但是又有一个错误不是很明白； > > > > > > 签名由 网易邮箱大师 <https://mail.163.com/dashi/dlpro.html?from=mail81> 定制 > > 在2019年11月18日 16:38，李军 写道： > > > > HADOOP_CLASSPATH 设置了； > > 启动这个好像不需要指定程序的入口类吧 > > > > > > 在2019年11月18日 16:34，tison > 写道： > > > > 可能是你没有设置 HADOOP_CLASSPATH > > > > 参考 https://flink.apache.org/downloads.html 本页面最上部分 > > > > If you plan to use Apache Flink together with Apache Hadoop (run Flink on > > YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file > > system connector) then select the download that bundles the matching > Hadoop > > version, download the optional pre-bundled Hadoop that matches your > version > > and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH > > < > > > https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html > > > > > > > Best, > > tison. > > > > > > 李军 于2019年11月18日周一 下午4:31写道： > > > > 启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 > > 报错：Error: Could not find or load main class > > org.apache.flink.yarn.cli.FlinkYarnSessionCli > > > > > > ResourceManager，NodeManager都已启动。 > > > > >
回复： ./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误
ok ，我待会换个版本试试，我看了下这个启动时打印的信息： nable to load native-hadoop library for your platform. 这个是不是也是有问题的；https://blog.csdn.net/qq_37518574/article/details/103125368 第一张图； 在2019年11月18日 16:55，tison 写道： https://issues.apache.org/jira/browse/FLINK-10435 就这，如果你参数传错了 YARN 刚一 deploy 就挂了，就会出现跟这个 JIRA 描述一样的现象 Best, tison. tison 于2019年11月18日周一 下午4:53写道： 你的那个图可能是因为一些参数传得不对导致 YARN 部署的时候出问题了。我之前遇到过这种情况是因为我把一个参数传错了 YARN 的 APP 起来之后抛异常 你看到在那边不停的 retry 是一个已知的 BUG，我记得最近几个版本已经修了，我找找对应的 JIRA Best, tison. 李军 于2019年11月18日周一 下午4:50写道： ./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误 报错信息图： https://blog.csdn.net/qq_37518574/article/details/103125368
Re: ./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误
你的那个图可能是因为一些参数传得不对导致 YARN 部署的时候出问题了。我之前遇到过这种情况是因为我把一个参数传错了 YARN 的 APP 起来之后抛异常 你看到在那边不停的 retry 是一个已知的 BUG，我记得最近几个版本已经修了，我找找对应的 JIRA Best, tison. 李军 于2019年11月18日周一 下午4:50写道： > ./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误 > 报错信息图： https://blog.csdn.net/qq_37518574/article/details/103125368 > >
Re: yarn-session.sh 启动 报错
你可以改一下 yarn-session.sh 的内容，看一下最后执行的命令是啥，可能 shell 里多了空格导致一些解析上的问题。 Best, tison. 李军 于2019年11月18日周一 下午4:44写道： > 找到问题了； > 是我这个包：flink-shaded-hadoop-2-uber-2.8.3-7.0 (1) 名字错了； > 但是又有一个错误不是很明白； > > > 签名由 网易邮箱大师 <https://mail.163.com/dashi/dlpro.html?from=mail81> 定制 > 在2019年11月18日 16:38，李军 写道： > > HADOOP_CLASSPATH 设置了； > 启动这个好像不需要指定程序的入口类吧 > > > 在2019年11月18日 16:34，tison 写道： > > 可能是你没有设置 HADOOP_CLASSPATH > > 参考 https://flink.apache.org/downloads.html 本页面最上部分 > > If you plan to use Apache Flink together with Apache Hadoop (run Flink on > YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file > system connector) then select the download that bundles the matching Hadoop > version, download the optional pre-bundled Hadoop that matches your version > and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH > < > https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html > > > > Best, > tison. > > > 李军 于2019年11月18日周一 下午4:31写道： > > 启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 > 报错：Error: Could not find or load main class > org.apache.flink.yarn.cli.FlinkYarnSessionCli > > > ResourceManager，NodeManager都已启动。 > >
./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误
./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误 报错信息图： https://blog.csdn.net/qq_37518574/article/details/103125368
回复： yarn-session.sh 启动 报错
找到问题了； 是我这个包：flink-shaded-hadoop-2-uber-2.8.3-7.0 (1) 名字错了； 但是又有一个错误不是很明白； 签名由网易邮箱大师定制 在2019年11月18日 16:38，李军 写道： HADOOP_CLASSPATH 设置了； 启动这个好像不需要指定程序的入口类吧 在2019年11月18日 16:34，tison 写道： 可能是你没有设置 HADOOP_CLASSPATH 参考 https://flink.apache.org/downloads.html 本页面最上部分 If you plan to use Apache Flink together with Apache Hadoop (run Flink on YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file system connector) then select the download that bundles the matching Hadoop version, download the optional pre-bundled Hadoop that matches your version and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH <https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html> Best, tison. 李军 于2019年11月18日周一 下午4:31写道： 启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 报错：Error: Could not find or load main class org.apache.flink.yarn.cli.FlinkYarnSessionCli ResourceManager，NodeManager都已启动。
回复： yarn-session.sh 启动 报错
HADOOP_CLASSPATH 设置了； 启动这个好像不需要指定程序的入口类吧 在2019年11月18日 16:34，tison 写道： 可能是你没有设置 HADOOP_CLASSPATH 参考 https://flink.apache.org/downloads.html 本页面最上部分 If you plan to use Apache Flink together with Apache Hadoop (run Flink on YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file system connector) then select the download that bundles the matching Hadoop version, download the optional pre-bundled Hadoop that matches your version and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH <https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html> Best, tison. 李军 于2019年11月18日周一 下午4:31写道： 启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 报错：Error: Could not find or load main class org.apache.flink.yarn.cli.FlinkYarnSessionCli ResourceManager，NodeManager都已启动。
Re: yarn-session.sh 启动 报错
可能是你没有设置 HADOOP_CLASSPATH 参考 https://flink.apache.org/downloads.html 本页面最上部分 If you plan to use Apache Flink together with Apache Hadoop (run Flink on YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file system connector) then select the download that bundles the matching Hadoop version, download the optional pre-bundled Hadoop that matches your version and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH <https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html> Best, tison. 李军 于2019年11月18日周一 下午4:31写道： > 启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 > 报错：Error: Could not find or load main class > org.apache.flink.yarn.cli.FlinkYarnSessionCli > > > ResourceManager，NodeManager都已启动。
yarn-session.sh 启动 报错
启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 报错：Error: Could not find or load main class org.apache.flink.yarn.cli.FlinkYarnSessionCli ResourceManager，NodeManager都已启动。
回复： yarn-session.sh 启动 报错
| | 李军 | | | | hold_li...@163.com | 签名由网易邮箱大师定制 在2019年11月15日 16:22，tison 写道： 图看不见，你可以外链图床或者 gist 贴 log Best, tison. 李军 于2019年11月15日周五 下午4:07写道： 这个报错实在不知道是什么意思，哪个地方连接不上
Re: yarn-session.sh 启动 报错
图看不见，你可以外链图床或者 gist 贴 log Best, tison. 李军 于2019年11月15日周五 下午4:07写道： > 这个报错实在不知道是什么意思，哪个地方连接不上 > >
yarn-session.sh 启动 报错
这个报错实在不知道是什么意思，哪个地方连接不上
