flink1.12版本,使用SQL Client提交任务,读hive表,对并行度有些疑问,以下是现象:
flink-conf.yaml文件中的:
taskmanager.numberOfTaskSlots: 1 有效
parallelism.default: 1 无效,实际任务的并行度=hive表的文件 且 <= 160
sql-client-defaults.yaml 文件中的:
execution:
parallelism: 10 无效
max-parallelism: 16 当hive表的文件数大于此值时,报资源不足 Deployment took more than 60
seconds. Please check if the requested resources are available in the YARN
cluster
问题:
1、SQL Client提交任务 怎么设置并行度?
2、为啥parallelism参数是无效的?
3、当hive表文件数大于max-parallelism 时为啥 发布失败?
- SQL Client并行度设置 问题 jiangjiguang719
- Re: SQL Client并行度设置 问题 Jark Wu
- Re:Re: SQL Client并行度设置 问题 jiangjiguang719
- Re: Re: SQL Client并行度设置 问题 Jark Wu
