回复：窗口去重

Tue, 10 Dec 2019 23:53:19 -0800 

属于不同的window，是window内去重，window间不去重


| |
Jimmy Wong
|
|
[email protected]
|
签名由网易邮箱大师定制


在2019年12月11日 12:08，梁溪<[email protected]> 写道：
去重了为什么还会有两个2




| |
梁溪
|
|
邮箱：[email protected]
|

签名由 网易邮箱大师 定制

在2019年12月11日 11:19，Jimmy Wong 写道：
Hi, Yuan,Youjun 谢谢。 你这种方案是 SQL 的角度吧，如果用 DataStream 算子要怎么处理呢？


| |
Jimmy Wong
|
|
[email protected]
|
签名由网易邮箱大师定制


在2019年12月11日 09:04，Yuan,Youjun<[email protected]> 写道：
第一种情况，用firstvalue这种聚合函数; 第二种情况，用min聚合函数，然后group by id，是不是就是你要的结果?

-----邮件原件-----
发件人: Jimmy Wong <[email protected]>
发送时间: Tuesday, December 10, 2019 4:40 PM
收件人: [email protected]
主题: 窗口去重

Hi，All：
请教一个问题，现在有个实时场景：需要对每 5 分钟内数据进行去重，然后 Sink。
比如：
数据
{ts: 2019-12-10 16:24:00 id: 1}
{ts: 2019-12-10 16:22:00 id: 1}
{ts: 2019-12-10 16:23:00 id: 2}
{ts: 2019-12-10 16:21:00 id: 1}
{ts: 2019-12-10 16:29:00 id: 2}
{ts: 2019-12-10 16:27:00 id: 3}
{ts: 2019-12-10 16:26:00 id: 2}


第一种情景，不考虑时间去重，结果如下：
{ts: 2019-12-10 16:24:00 id: 1}
{ts: 2019-12-10 16:23:00 id: 2}
{ts: 2019-12-10 16:29:00 id: 2}
{ts: 2019-12-10 16:27:00 id: 3}


第二种情景，考虑时间去重，结果如下：
{ts: 2019-12-10 16:21:00 id: 1}
{ts: 2019-12-10 16:23:00 id: 2}
{ts: 2019-12-10 16:26:00 id: 2}
{ts: 2019-12-10 16:27:00 id: 3}


请教下，对于上面两种情景，分别有什么高效实时的解决方案么， 谢谢？我想了一下用 5min 窗口，和 ProcessWindowFunction 可以解决，但是 
ProcessWindowFunction 要缓存 5min 的窗口数据，但是有延迟。




| |
Jimmy Wong
|
|
[email protected]
|
签名由网易邮箱大师定制

回复