Hi 赵一旦,

目前 Flink SQL 我这边使用也是无法指定各个算子的并行度。目前我这边遇到两个问题。
1.并行度超过 topic partition 的时候会造成资源浪费
2.并行度超过 topic partition 后,checkpoint 也无法正常触发了


Best forideal

















在 2020-08-14 12:03:32,"赵一旦" <[email protected]> 写道:
>检查点呢,大多数用FlinkSQL的同学们,你们的任务是随时可运行那种吗,不是必须保证不可间断的准确性级别吗?
>
>Xingbo Huang <[email protected]> 于2020年8月14日周五 下午12:01写道:
>
>> Hi,
>>
>> 关于并行度的问题,据我所知,目前Table API上还没法对每一个算子单独设置并行度
>>
>> Best,
>> Xingbo
>>
>> Zhao,Yi(SEC) <[email protected]> 于2020年8月14日周五 上午10:49写道:
>>
>> > 并行度问题有人帮忙解答下吗,此外补充个相关问题,除了并行度,flink-sql情况下,能做检查点/保存点,并基于检查点/保存点重启sql任务吗。
>> >
>> > 发件人: "Zhao,Yi(SEC)" <[email protected]>
>> > 日期: 2020年8月13日 星期四 上午11:44
>> > 收件人: "[email protected]" <[email protected]>
>> > 主题: 如何设置FlinkSQL并行度
>> >
>> > 看配置文件有 execution. Parallelism,但这个明显是全局类型的配置。
>> > 如何给Sql生成的数据源结点,window结点,sink结点等设置不同的并行度呢?
>> >
>> > 比如数据源理论上应该和kafka分区数一致比较好,window则需要根据数据量考虑计算压力,sink也应该有相应的场景考虑。
>> >
>> >
>>

回复