Hi,
各位好,最近在使用Flink SQL实现离线处理时,遇到资源占用过多的问题: 1 由于之前一个taskmanager配置了多个slot,导致slot之间内存抢占溢出的问题,后来每个taskmanager就配置了一个slot 2 有的sql非常复杂,需要读取多个hive source,我们配置了开启hive推断并配置最大的并行度为10; 3 当多个操作节点并行时,一个普通的任务可能需要申请上百个slot 直接导致yarn集群资源被耗光。 想了解下,针对slot是否有相关配置,限制最大slot的申请数量,使得不同任务可以共享slot执行。 另外,关于slotsharingGroup有点疑问,slotsharinggroup是不是仅针对单个source与下游的function。比如: Source[4] —> map[4] —> reduce[3],这三个任务可以进行slotsharing,此时需要的最大slot是4。 但是如果source包含2个,此时两个source是无法进行slotsharing的,此时需要的最大slot是8。 Best, xinghalo