参考Flink文档 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/concepts/flink-architecture/#task-slots-and-resources 中,Task Slots and Resources部分。 这部分讲slot对cpu无隔离,mem也只是对managed mem限制。 所以新版提供的精调的slot,只是每个slot可以使用不同的cpu+mem的数字,实际还是没隔离。 只能说从调度层面作为一个新的分配方案。 也即是slot仍然只有调度层的意义,并没有资源层面的含义。
yidan zhao <[email protected]> 于2021年9月30日周四 上午11:14写道: > 如题,目前1.14支持精调,但按照我之前对slot的理解,实际flink没有做到mem和cpu的隔离? 难道是理解错了吗。 > > 我之前只把slot理解为对单个TaskManager上线程数的限制,当然考虑到slot sharing > 机制,以及单个subtask本身也不一定是单线程(比如存在background线程),这个限制不是绝对数字限制。 > 但可以认为单个TM有n个slot,就最多能跑n个subtask pipeline。 但实际上slot与slot之间的mem、cpu是没有区分的。 > > 如上理解有问题吗。 >
