Re: Re:1.11版本的yarn-session如何指定taskmanager数量

2020-11-11 文章 Xintong Song
Flink on Yarn 废除了 `-n` 参数后,不再支持指定固定数量的 TM。Flink 会根据作业的并行度,按需向 Yarn 申请资源。所以你说的没错,session 模式下提交新的 job 时 flink 会向 yarn 申请更多的资源。 如果想要限制 session 使用的总资源、可以接受资源不足时后提交的 job 可能无法运行需要等待的话,可以配置 `slotmanager.number-of-slots.max`(默认是 Integer.MAX_VALUE)来限制总的 slot 数量。 如果不想 job 运行结束后 tm 很快被释放、下次提交作业又需要等待 tm

Re:1.11版本的yarn-session如何指定taskmanager数量

2020-11-11 文章 jiangjiguang719
根据 -p 最大并行度 和-ys 每个TM的slot个数来计算 在 2020-11-11 17:14:41,"kingdomad" 写道: >我发现1.11版本的yarn-session.sh废弃了-n参数,那如何指定taskmanager数量? > > > > > > > > > > > > > >-- > >kingdomad >

Re:1.11版本的yarn-session如何指定taskmanager数量

2020-11-11 文章 hailongwang
根据你 Job 的并发和指定的 TM 的规格来计算出 TM 的数量。 在 2020-11-11 16:14:41,"kingdomad" 写道: >我发现1.11版本的yarn-session.sh废弃了-n参数,那如何指定taskmanager数量? > > > > > > > > > > > > > >-- > >kingdomad >