Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

Sun, 30 Aug 2020 19:57:37 -0700 

<http://apache-flink.147419.n8.nabble.com/file/t912/e1111e0a-24c3-4e40-b830-1eec9f183a02.png>
 
<http://apache-flink.147419.n8.nabble.com/file/t912/2d1a5ed7-6f46-4091-b65e-9c2c26e5835e.png>
 

我也出现了这个问题， 我使用的是窗口函数进行group by 

发现state 不会清空，还是10m 到后面 几G 缓慢增长，大概每3个checkpoint 增长
任务没有反压。为了测试我使用discardSink 

先后 换了 1 second 1分钟，还有proctime rowtime模式 来窗口统计都一样 ,state缓慢增大

CREATE VIEW cpd_expo_feature_collect_view as select
imei,incrmentFeatureCollect(CAST(serverTime AS INT),adId) as feature from
dwd_oth_ads_appstore_exposure_process_view
  group by TUMBLE (proctime, INTERVAL '10' SECOND),imei;



--
Sent from: http://apache-flink.147419.n8.nabble.com/

回复