Re: Re: group agg 开启了mini batch之后,state ttl不生效的问题
这个是是非窗口下agg的优化,目前窗口聚合agg还不支持mini batch > -原始邮件- > 发件人: "Tianwang Li" > 发送时间: 2020-09-30 14:32:39 (星期三) > 收件人: user-zh@flink.apache.org > 抄送: > 主题: Re: group agg 开启了mini batch之后,state ttl不生效的问题 > > 这种有窗口统计没有影响吧? > > > 刘建刚 于2020年9月30日周三 下午2:25写道: > > > 修复方案参考https://github.com/apache/flink/pull/11830 > > > > kandy.wang 于2020年9月30日周三 下午2:19写道: > > > > > group agg 开启了mini batch之后,state ttl不生效的问题: > > > > > > > > > 现在我们发现好像 计算订单指标,写hbase,开启mini batch确实是需要的。这样可以大大降低sink > > > 算子的数据量,降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话,单个任务 就可以把hbase 的tps 干到 > > 十几万。 > > > > > > > > > sql-client-defaults.yaml对应的参数应该是这2个吧: > > > # minimum idle state retention in ms > > > min-idle-state-retention: 0 > > > # maximum idle state retention in ms > > > max-idle-state-retention: 0 > > > 这个现在进展如何了,这个社区打算什么时候支持 > > > > > > > > > > > > > > > > > -- > ** > tivanli > ** -- 刘大龙 浙江大学 控制系 智能系统与控制研究所 工控新楼217 地址:浙江省杭州市浙大路38号浙江大学玉泉校区 Tel:18867547281
Re: group agg 开启了mini batch之后,state ttl不生效的问题
这种有窗口统计没有影响吧? 刘建刚 于2020年9月30日周三 下午2:25写道: > 修复方案参考https://github.com/apache/flink/pull/11830 > > kandy.wang 于2020年9月30日周三 下午2:19写道: > > > group agg 开启了mini batch之后,state ttl不生效的问题: > > > > > > 现在我们发现好像 计算订单指标,写hbase,开启mini batch确实是需要的。这样可以大大降低sink > > 算子的数据量,降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话,单个任务 就可以把hbase 的tps 干到 > 十几万。 > > > > > > sql-client-defaults.yaml对应的参数应该是这2个吧: > > # minimum idle state retention in ms > > min-idle-state-retention: 0 > > # maximum idle state retention in ms > > max-idle-state-retention: 0 > > 这个现在进展如何了,这个社区打算什么时候支持 > > > > > > > > > -- ** tivanli **
Re: group agg 开启了mini batch之后,state ttl不生效的问题
修复方案参考https://github.com/apache/flink/pull/11830 kandy.wang 于2020年9月30日周三 下午2:19写道: > group agg 开启了mini batch之后,state ttl不生效的问题: > > > 现在我们发现好像 计算订单指标,写hbase,开启mini batch确实是需要的。这样可以大大降低sink > 算子的数据量,降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话,单个任务 就可以把hbase 的tps 干到 十几万。 > > > sql-client-defaults.yaml对应的参数应该是这2个吧: > # minimum idle state retention in ms > min-idle-state-retention: 0 > # maximum idle state retention in ms > max-idle-state-retention: 0 > 这个现在进展如何了,这个社区打算什么时候支持 > > > >
group agg 开启了mini batch之后,state ttl不生效的问题
group agg 开启了mini batch之后,state ttl不生效的问题: 现在我们发现好像 计算订单指标,写hbase,开启mini batch确实是需要的。这样可以大大降低sink 算子的数据量,降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话,单个任务 就可以把hbase 的tps 干到 十几万。 sql-client-defaults.yaml对应的参数应该是这2个吧: # minimum idle state retention in ms min-idle-state-retention: 0 # maximum idle state retention in ms max-idle-state-retention: 0 这个现在进展如何了,这个社区打算什么时候支持