flink sql count distonct 优化

2021-03-23 文章 guomuhua
在SQL中,如果开启了 local-global 参数:set table.optimizer.agg-phase-strategy=TWO_PHASE; 或者开启了Partial-Final 参数:set table.optimizer.distinct-agg.split.enabled=true; set table.optimizer.distinct-agg.split.bucket-num=1024; 还需要对应的将SQL改写为两段式吗? 例如: 原SQL: SELECT day,

Re: flink sql count distonct 优化

2021-03-25 文章 guomuhua
Jark wrote > 我看你的作业里面是window agg,目前 window agg 还不支持自动拆分。1.13 的基于 window tvf 的 window > agg支持这个参数了。可以期待下。 > > Best, > Jark > > On Wed, 24 Mar 2021 at 19:29, Robin Zhang > vincent2015qdlg@ > > wrote: > >> Hi,guomuhua >> 开启本地聚合,是不需要自

interval join 如何用 process time

2021-03-17 文章 guomuhua
在 flink sql 中,可以使用 proc time 来进行 interval join,但是在 stream api 中,只能用 event time 进行 interval join,如何能使用 process time 呢? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: interval join 如何用 process time

2021-03-17 文章 guomuhua
你说的这个语法是flink sql 吧,我想问的是stream api 里面怎么用 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-savepoint问题

2021-03-03 文章 guomuhua
我也遇到类似情况,为了打散数据,keyby加了随机数。请问怎么正确打散数据呢? nobleyd wrote > 是不是使用了随机key。 > guaishushu1103@ > > guaishushu1103@ > 于2021年3月3日周三 下午6:53写道:> checkpoint 可以成功保存,但是savepoint出现错误:> > java.lang.Exception: Could not materialize checkpoint 2404 for operator> > KeyedProcess (21/48).> at> >

Re: flink-savepoint问题

2021-03-03 文章 guomuhua
我也遇到同样问题,为了打散数据,在keyby时加了随机数作为后缀,去掉随机数,可以正常savepoint,加上随机数就savepoint失败。所以如果确有要打散数据的需求,应该怎么处理呢? -- Sent from: http://apache-flink.147419.n8.nabble.com/