Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效

2020-06-22 文章 Yang Wang
目前Flink里面的实现确实是这样的,遇到不认识的option就会停下来
所以你去掉-n之后就好了

Best,
Yang

MuChen <9329...@qq.com> 于2020年6月22日周一 下午9:48写道:

> hi,Yang Wang:
>
>
>
> HDFS上面staging目录($HOME/.flink/application_id)的*flink-conf.yaml*文件中没有提交命令中指定的-qu和-nm,而且-jm和-tm也是默认值,并不是我参数中指定的值。
>
>
> 我把“-n”参数去掉后重新执行,所有指定参数全部生效了,应该是不支持的“-n”参数导致后面所有参数失效。
>
>
> 谢谢大佬的帮助
>
>
> Best,
> MuChen
>
>
> --原始邮件--
> 发件人:"Yang Wang" 发送时间:2020年6月22日(星期一) 晚上8:37
> 收件人:"user-zh"
> 主题:Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效
>
>
>
>
> 你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml*
> 看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。
>
>
> 另外,-n参数很早就不支持了,这样设置也不会起作用的,都是动态申请TM的
>
>
> Best,
> Yang
>
> MuChen <9329...@qq.com 于2020年6月22日周一 下午7:32写道:
>
>  hi,all:
> 
> 
>  我有一个hadoop集群和一台机器A.
> 
> 
>  我在机器A上,使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink
> -nm
>  fsql-cli gt; /dev/null 2gt;amp;1
> amp;命令,启动了一个yarn-session,
>  其中,指定了队列root.flink和应用名fsql-cli.
> 
> 
>  但是,在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致(多次提交,偶尔一致),如图:
>  https://imgchr.com/i/NJIn4x
> 
> 
>  应用名为:Flink session cluster
>  队列名为:root.default
> 
> 
>  请问为什么我指定的队列名和应用名没有生效?
> 
> 
>  flink版本:1.10.0
>  flink-conf.yaml配置:
>  [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$
>  jobmanager.rpc.address: localhost
>  jobmanager.rpc.port: 6123
>  jobmanager.heap.size: 1024m
>  taskmanager.memory.process.size: 2048m
>  taskmanager.numberOfTaskSlots: 10
>  parallelism.default: 1
>  jobmanager.execution.failover-strategy: region


Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效

2020-06-22 文章 Yang Wang
你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml*
看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。


另外,-n参数很早就不支持了,这样设置也不会起作用的,都是动态申请TM的


Best,
Yang

MuChen <9329...@qq.com> 于2020年6月22日周一 下午7:32写道:

> hi,all:
>
>
> 我有一个hadoop集群和一台机器A.
>
>
> 我在机器A上,使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm
> fsql-cli  /dev/null 21 命令,启动了一个yarn-session,
> 其中,指定了队列root.flink和应用名fsql-cli.
>
>
> 但是,在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致(多次提交,偶尔一致),如图:
> https://imgchr.com/i/NJIn4x
>
>
> 应用名为:Flink session cluster
> 队列名为:root.default
>
>
> 请问为什么我指定的队列名和应用名没有生效?
>
>
> flink版本:1.10.0
> flink-conf.yaml配置:
> [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$
> jobmanager.rpc.address: localhost
> jobmanager.rpc.port: 6123
> jobmanager.heap.size: 1024m
> taskmanager.memory.process.size: 2048m
> taskmanager.numberOfTaskSlots: 10
> parallelism.default: 1
> jobmanager.execution.failover-strategy: region