嗯,直观看是这个问题。想知道这个问题有啥常见原因?这个报错只是最终原因,但不一定是直接原因。因为这个yarn集群不可能没资源,我只是简单实验下,我们的yarn是个超级集群,不可能没资源。 我猜测会不会是其他问题,比如yarn队列不对,导致没资源?再或者不清楚可不可能与yarn的鉴权有关,我们的yarn集群应该是有用户权限和资源配额限制的,但理论上我是从另外一个集群上抄的配置,不清楚有没有搞错。 原机器是用于提交spark任务的,我主要复制了hadoop部分(yarn)到另一个机器(B),用B这台机器计划做flink任务的提交。
Zou Dan <[email protected]> 于2020年8月23日周日 下午2:16写道: > Hi, 一旦, root cause 应该是下面这个日志 > The number of requested virtual cores for application master 1 exceeds the > maximum number of virtual cores 0 available in the Yarn Cluster. > > 我简单看了一下代码,应该是你们 yarn 节点上没有可用的资源,numYarnMaxVcores = 0 > > > 2020年8月21日 下午11:11,赵一旦 <[email protected] <mailto:[email protected]>> > 写道: > > > > The number of requested virtual cores for application master 1 exceeds > the > > maximum number of virtual cores 0 available in the Yarn Cluster. > >
