这个是是非窗口下agg的优化,目前窗口聚合agg还不支持mini batch
> -----原始邮件----- > 发件人: "Tianwang Li" <[email protected]> > 发送时间: 2020-09-30 14:32:39 (星期三) > 收件人: [email protected] > 抄送: > 主题: Re: group agg 开启了mini batch之后,state ttl不生效的问题 > > 这种有窗口统计没有影响吧? > > > 刘建刚 <[email protected]> 于2020年9月30日周三 下午2:25写道: > > > 修复方案参考https://github.com/apache/flink/pull/11830 > > > > kandy.wang <[email protected]> 于2020年9月30日周三 下午2:19写道: > > > > > group agg 开启了mini batch之后,state ttl不生效的问题: > > > > > > > > > 现在我们发现好像 计算订单指标,写hbase,开启mini batch确实是需要的。这样可以大大降低sink > > > 算子的数据量,降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话,单个任务 就可以把hbase 的tps 干到 > > 十几万。 > > > > > > > > > sql-client-defaults.yaml对应的参数应该是这2个吧: > > > # minimum idle state retention in ms > > > min-idle-state-retention: 0 > > > # maximum idle state retention in ms > > > max-idle-state-retention: 0 > > > 这个现在进展如何了,这个社区打算什么时候支持 > > > > > > > > > > > > > > > > > -- > ************************************** > tivanli > ************************************** ------------------------------ 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281
