这种情况不建议使用滑动窗口,因为会保存大量的窗口数据(24小时/1分钟); 可以自定义ProcessFunction,参照[1];
[1]. https://stackoverflow.com/questions/51977741/flink-performance-issue-with-sliding-time-window On 04/09/2019, 8:07 PM, "Yifei Qi" <[email protected]> wrote: >大家好: > > > >不知道大家在使用flink时遇到过内存消耗过大的问题么? > > > >我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不知道有没有人知道如何优化? > > > >具体情况是这样的: > >准备的测试数据模拟一天时间内3万个用户的5万条数据. 原始数据一共是100M. > >按照用户进行分组. > >计算两个滑动窗口任务:一个是近1小时, 每5秒滑动一次的窗口. 一个是近24小时, 每1分钟滑动一次的窗口. > > > > > >flink运行在3个节点后, 内存合计就用了5G. > > > > > >flink如此消耗内存, 不知道是它本来就这么吃内存, 还是我使用的有问题. > > > > > >顺祝商祺 > > >-- > > >Qi Yifei >[image: https://]about.me/qyf404 ><https://about.me/qyf404?promo=email_sig&utm_source=product&utm_medium=email_sig&utm_campaign=gmail_api>
