slot资源是绝对充足的,你提到的资源还涉及到其他资源吗?





在 2021-12-21 17:57:21,"刘建刚" <[email protected]> 写道:
>固定资源的情况下,batch的调度会按照拓扑顺序执行算子。如果你的资源只够运行一个source,那么等source运行完毕后才能运行SortLimit。
>
>RS <[email protected]> 于2021年12月21日周二 16:53写道:
>
>> hi,
>>
>> 版本:flink1.14
>>
>> 模式:batch
>>
>> 测试场景:消费hive大量数据,计算某个字段的 top 10
>>
>>
>> 使用sql-client测试,创建任务之后,生成2个plan,一个Source,一个SortLimit。Source状态为RUNNING,SortLimit状态一直为CREATED。
>>
>> 请问下,SortLimit状态一直为CREATED是正常现象吗?
>>
>> 数据量比较大,全部消费完的话,估计得好几天时间,BATCH模式下,SortLimit的状态需要等所有数据全部消费完才改变吗?
>>
>>
>>
>>
>> 测试SQL:
>>
>> SELECT price
>>
>> FROM hive.data.data1
>>
>> ORDER BY price DESC
>>
>> LIMIT 10;

回复