Re: batch模式下任务plan的状态一直为CREATED

Tue, 21 Dec 2021 01:57:46 -0800 

固定资源的情况下，batch的调度会按照拓扑顺序执行算子。如果你的资源只够运行一个source，那么等source运行完毕后才能运行SortLimit。

RS <[email protected]> 于2021年12月21日周二 16:53写道：

> hi，
>
> 版本：flink1.14
>
> 模式：batch
>
> 测试场景：消费hive大量数据，计算某个字段的 top 10
>
>
> 使用sql-client测试，创建任务之后，生成2个plan，一个Source，一个SortLimit。Source状态为RUNNING，SortLimit状态一直为CREATED。
>
> 请问下，SortLimit状态一直为CREATED是正常现象吗？
>
> 数据量比较大，全部消费完的话，估计得好几天时间，BATCH模式下，SortLimit的状态需要等所有数据全部消费完才改变吗？
>
>
>
>
> 测试SQL：
>
> SELECT price
>
> FROM hive.data.data1
>
> ORDER BY price DESC
>
> LIMIT 10;

回复