Re: 关于去重（Deduplication）

好的，明白了，谢谢 Jark Wu 于2020年11月16日周一 上午10:27写道： > 关于2， 你理解反了。性能上 deduplicate with first row 比 first_value 更优。 因为deduplicate > with first row 在 state 里面只存了 key，value 只用了一个空字节来表示。 > > On Sun, 15 Nov 2020 at 21:47, macia kk wrote: > > > 感谢 Jark 回复, 一直有看你的博客，收益匪浅。 > > > > 关于2，性能上是 first_value

Re: 关于去重（Deduplication）

关于2， 你理解反了。性能上 deduplicate with first row 比 first_value 更优。 因为deduplicate with first row 在 state 里面只存了 key，value 只用了一个空字节来表示。 On Sun, 15 Nov 2020 at 21:47, macia kk wrote: > 感谢 Jark 回复, 一直有看你的博客，收益匪浅。 > > 关于2，性能上是 first_value 更优，因为只保存了 key 和 对应的 value，而窗口函数保留了整行数据？ > > > > Jark Wu

Re: 关于去重（Deduplication）

感谢 Jark 回复, 一直有看你的博客，收益匪浅。 关于2，性能上是 first_value 更优，因为只保存了 key 和 对应的 value，而窗口函数保留了整行数据？ Jark Wu 于2020年11月15日周日 下午8:45写道： > 主要两个区别： > 1. 在语义上，deduplicate 是整行去重，而 first_value, last_value 是列去重。比如 deduplicate > with last row，是保留最后一行，如果最后一行中有 null 值，也会保留。而 last_value 是保留该列的最后非 null 值。 > 2. 性能上

Re: 关于去重（Deduplication）

主要两个区别： 1. 在语义上，deduplicate 是整行去重，而 first_value, last_value 是列去重。比如 deduplicate with last row，是保留最后一行，如果最后一行中有 null 值，也会保留。而 last_value 是保留该列的最后非 null 值。 2. 性能上 deduplicate 更优，比如 first row, 只保存了 key 的state信息。 Best, Jark On Sun, 15 Nov 2020 at 19:23, macia kk wrote: > 各位大佬： > >

关于去重（Deduplication）

各位大佬： 我看文档上建议使用的去重方式是用窗口函数 SELECT [column_list]FROM ( SELECT [column_list], ROW_NUMBER() OVER ([PARTITION BY col1[, col2...]] ORDER BY col1 [asc|desc][, col2 [asc|desc]...]) AS