各位好,最近也在思考这个问题,我是采用的flink on yarn集群部署的,每次通过Per-job模式提交任务时虽然指定了 -ytm 2048,但是当运行起来之后去看yarn资源会发现可用内存并不是减少2g 而是减少了3g,也就是实际占用会比我给定的内存多1g。 如果每个sql任务单独运行的话,这样会不会造成资源浪费呀?
再用sql语句编写程序时,能不能在一个任务中,在用多个source、transformation、sink情况下,为每个sql单独指定solt数? 祝好~ > ------------------ 原始邮件 ------------------ > 发 件 人:"Kyle Zhang" <[email protected]> > 发送时间:2020-12-14 09:25:59 > 收 件 人:[email protected] > 抄 送: > 主 题:Re: Flink SQL 怎么为每一个任务分配不同的内存配置 > > 一个集群跑一个SQL任务怎么样 > > On Mon, Dec 14, 2020 at 8:42 AM [email protected] > wrote: > > > Flink 作业在提交时可以通过参数指定JobManager > > 和TaskManager的内存配置,但是SQL执行时怎么为每一个任务指定其内存配置,是不是都是读同一个flink-conf.yaml中的配置? > > > > https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#memory-configuration > > 中内存的配置都是基于flink-conf.yaml文件来操作的,是全局的配置,没有找到基于SQL任务独立配合内存的? > > > > > > > > [email protected] > >
