Hi DataStream API 暂时没有 local aggregation 的功能,不过 FLIP-44[1] 曾经打算做这个事情. 在没有这个功能的时候,可以尝试给 key 拼前缀或者后缀(首先给 key 拼一些前缀/后缀,等计算之后再把前缀/后缀去掉进行聚合)来达到类似的效果
[1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-44%3A+Support+Local+Aggregation+in+Flink Best, Congxian chanamper <[email protected]> 于2020年4月4日周六 下午6:15写道: > Dear All, > 大家好,请教一下。目前针对Java Api的方式,对于Flink > keyby情况存在key数据倾斜有啥实现优化思路吗?看官方文档目前在table api和sql层面,有Minibatch > Aggregation和Local Global Aggregation方式的实现,针对Java Api的方式有啥办法可以达到local global > aggregation的效果吗? > 多谢!
