Re: 如何设置FlinkSQL并行度

Sun, 16 Aug 2020 19:11:58 -0700 

我这边才研究FlinkSQL没几天。不过按照目前了解，是不支持算子级别并行度设置的。
此外你说的checkpoint无法正常触发，我估计是因为barrier的问题，部分并行示例没有分区数据，导致没数据就可能导致。这个问题类似，可能无解。

非要解决可以写代码，把souce部分不使用sql实现。
__________

在 2020/8/15 下午8:21，“forideal”<fszw...@163.com> 写入:

    Hi 赵一旦,
    
    
    目前 Flink SQL 我这边使用也是无法指定各个算子的并行度。目前我这边遇到两个问题。
    1.并行度超过 topic partition 的时候会造成资源浪费
    2.并行度超过 topic partition 后，checkpoint 也无法正常触发了
    
    
    Best forideal
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    在 2020-08-14 12:03:32，"赵一旦" <hinobl...@gmail.com> 写道：
    >检查点呢，大多数用FlinkSQL的同学们，你们的任务是随时可运行那种吗，不是必须保证不可间断的准确性级别吗？
    >
    >Xingbo Huang <hxbks...@gmail.com> 于2020年8月14日周五 下午12:01写道：
    >
    >> Hi,
    >>
    >> 关于并行度的问题，据我所知，目前Table API上还没法对每一个算子单独设置并行度
    >>
    >> Best,
    >> Xingbo
    >>
    >> Zhao,Yi(SEC) <zhaoy...@baidu.com> 于2020年8月14日周五 上午10:49写道：
    >>
    >> > 
并行度问题有人帮忙解答下吗，此外补充个相关问题，除了并行度，flink-sql情况下，能做检查点/保存点，并基于检查点/保存点重启sql任务吗。
    >> >
    >> > 发件人: "Zhao,Yi(SEC)" <zhaoy...@baidu.com>
    >> > 日期: 2020年8月13日 星期四 上午11:44
    >> > 收件人: "user-zh@flink.apache.org" <user-zh@flink.apache.org>
    >> > 主题: 如何设置FlinkSQL并行度
    >> >
    >> > 看配置文件有 execution. Parallelism，但这个明显是全局类型的配置。
    >> > 如何给Sql生成的数据源结点，window结点，sink结点等设置不同的并行度呢？
    >> >
    >> > 比如数据源理论上应该和kafka分区数一致比较好，window则需要根据数据量考虑计算压力，sink也应该有相应的场景考虑。
    >> >
    >> >
    >>

回复