在SQL中,如果开启了 local-global 参数:set table.optimizer.agg-phase-strategy=TWO_PHASE;
或者开启了Partial-Final 参数:set table.optimizer.distinct-agg.split.enabled=true;
set
table.optimizer.distinct-agg.split.bucket-num=1024;
还需要对应的将SQL改写为两段式吗?
例如:
原SQL:
SELECT day,
Jark wrote
> 我看你的作业里面是window agg,目前 window agg 还不支持自动拆分。1.13 的基于 window tvf 的 window
> agg支持这个参数了。可以期待下。
>
> Best,
> Jark
>
> On Wed, 24 Mar 2021 at 19:29, Robin Zhang
> vincent2015qdlg@
>
> wrote:
>
>> Hi,guomuhua
>> 开启本地聚合,是不需要自
在 flink sql 中,可以使用 proc time 来进行 interval join,但是在 stream api 中,只能用 event
time 进行 interval join,如何能使用 process time 呢?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你说的这个语法是flink sql 吧,我想问的是stream api 里面怎么用
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我也遇到类似情况,为了打散数据,keyby加了随机数。请问怎么正确打散数据呢?
nobleyd wrote
> 是不是使用了随机key。
> guaishushu1103@
>
> guaishushu1103@
> 于2021年3月3日周三 下午6:53写道:> checkpoint 可以成功保存,但是savepoint出现错误:>
> java.lang.Exception: Could not materialize checkpoint 2404 for operator>
> KeyedProcess (21/48).> at>
>
我也遇到同样问题,为了打散数据,在keyby时加了随机数作为后缀,去掉随机数,可以正常savepoint,加上随机数就savepoint失败。所以如果确有要打散数据的需求,应该怎么处理呢?
--
Sent from: http://apache-flink.147419.n8.nabble.com/