发件人:x35907...@qq.com
收件人:user-zhuser...@flink.apache.org
发送时间:2020年7月8日(周三) 11:08
主题:回复： 求助：FLINKSQL1.10实时统计累计UV
您说的这种方式，V1.10.1 不支持吧，我看参数只有一个String类型的 void sqlUpdate(String stmt);
--nbsp;原始邮件nbsp;--
发件人:nbsp;"seeksst"seeksst@163.comgt;; 发送时间:nbsp;202
gt; amp;gt;
收件人:amp;amp;nbsp;"user-zh"user-zh@flink.apache.orgamp;amp;gt;; gt; amp;gt; gt;
amp;gt; 主题:amp;amp;nbsp;Re: 求助：FLINKSQL1.10实时统计累计UV gt; amp;gt; gt; amp;gt; gt;
amp;gt; gt; amp;gt; 你用的是哪个版本？之前是存在一个类似问题的[1]，是在window里面做count distinct会有这个问题，
gt; amp;gt; 这个已经在1.11中修复了。 gt; amp;gt; gt
ink.apache.orggt;; 主题:nbsp;Re:
求助：FLINKSQL1.10实时统计累计UV 感觉不太应该有这种情况，你用的是blink planner么？ x 35907418@qq.comgt;
于2020年7月6日周一 下午1:24写道： gt; sorry,我说错了，确实没有，都是group agg. gt; gt;
我配置了tableConfig.setIdleStateRetentionTime(Time.minutes(2),Time.minutes(7))，但是状态还是越来越大，没有按既定配置自动清理.
gt; gt; gt; ---
enchao Li" 发送时间:2020年7月6日(星期一) 中午12:52
> 收件人:"user-zh"
> 主题:Re: 求助：FLINKSQL1.10实时统计累计UV
>
>
>
> 我看你的SQL里面并没有用到窗口呀，只是一个普通的聚合。
> 这种聚合需要设置合理的state retention[1]时间的，要不然状态默认是永远不清理的。
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-master/dev
tinct会有这个问题，
> 这个已经在1.11中修复了。
>
> [1] https://issues.apache.org/jira/browse/FLINK-17942
>
> x <35907...@qq.com 于2020年7月3日周五 下午4:34写道：
>
> 您好，我程序运行一段时间后，发现checkpoint文件总在增长，应该是状态没有过期，
>
>
> 我配置了tableConfig.setIdleStateRetentionTime(Time.minutes(2),Time.minutes(7)),按理说，日期是前一天的key对应的状态会在第二天过期的。
>
,Time.minutes(7)),按理说，日期是前一天的key对应的状态会在第二天过期的。
>
>
>
>
> --原始邮件--
> 发件人:"Jark Wu" 发送时间:2020年6月18日(星期四) 中午12:16
> 收件人:"user-zh"
> 主题:Re: 求助：FLINKSQL1.10实时统计累计UV
>
>
>
> 是的，我觉得这样子是能绕过的。
>
> On Thu, 18 Jun 2
s"""
> INSERT INTO rt_totaluv
> SELECT _1,MAX(_2)
> FROM $res
> GROUP BY _1
> """)
>
>
> ------原始邮件--
> 发件人:"Jark Wu" 发送时间:2020年6月17日(星期三) 中午1:55
> 收件人:"user-zh"
&
0 3
>
>
> group by 日期的话，分钟如何获取
>
>
> --原始邮件--
> 发件人:"Benchao Li" 发送时间:2020年6月17日(星期三) 中午11:46
> 收件人:"user-zh"
> 主题:Re: 求助：FLINKSQL1.10实时统计累计UV
>
>
>
> Hi，
> 我感觉这种场景可以有两种方式，
> 1. 可以直接用group by + mini batch
> 2. window
本超提的两个方案也是阿里内部解决这个问题最常用的方式，但是 1.10 会有 primary key 的限制，要等到 1.11 才行。
另外这两个方案在追数据时，都可能会有毛刺现象（有几分钟没有值，因为数据追太快，跳过了）。
On Wed, 17 Jun 2020 at 11:46, Benchao Li wrote:
> Hi，
> 我感觉这种场景可以有两种方式，
> 1. 可以直接用group by + mini batch
> 2. window聚合 + fast emit
>
> 对于#1，group
Hi，
我感觉这种场景可以有两种方式，
1. 可以直接用group by + mini batch
2. window聚合 + fast emit
对于#1，group by的字段里面可以有一个日期的字段，例如你上面提到的DATE_FORMAT(rowtm, '-MM-dd')。
这种情况下的状态清理，需要配置state retention时间，配置方法可以参考[1] 。同时，mini batch的开启也需要
用参数[2] 来打开。
对于#2，这种直接开一个天级别的tumble窗口就行。然后状态清理不用特殊配置，默认就可以清理。
fast
10 matches
Mail list logo
