意思是要自己写方法实现滑动窗口的功能? 自己控制中间数据如何保存?
Victor Wong <[email protected]> 于2019年9月4日周三 下午10:36写道： > 这种情况不建议使用滑动窗口，因为会保存大量的窗口数据（24小时/1分钟）； > 可以自定义ProcessFunction，参照[1]； > > [1]. > https://stackoverflow.com/questions/51977741/flink-performance-issue-with-sliding-time-window > > > > > > On 04/09/2019, 8:07 PM, "Yifei Qi" <[email protected]> wrote: > > >大家好: > > > > > > > >不知道大家在使用flink时遇到过内存消耗过大的问题么? > > > > > > > >我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不知道有没有人知道如何优化? > > > > > > > >具体情况是这样的: > > > >准备的测试数据模拟一天时间内3万个用户的5万条数据. 原始数据一共是100M. > > > >按照用户进行分组. > > > >计算两个滑动窗口任务:一个是近1小时, 每5秒滑动一次的窗口. 一个是近24小时, 每1分钟滑动一次的窗口. > > > > > > > > > > > >flink运行在3个节点后, 内存合计就用了5G. > > > > > > > > > > > >flink如此消耗内存, 不知道是它本来就这么吃内存, 还是我使用的有问题. > > > > > > > > > > > >顺祝商祺 > > > > > >-- > > > > > >Qi Yifei > >[image: https://]about.me/qyf404 > >< > https://about.me/qyf404?promo=email_sig&utm_source=product&utm_medium=email_sig&utm_campaign=gmail_api > > > -- Qi Yifei [image: https://]about.me/qyf404 <https://about.me/qyf404?promo=email_sig&utm_source=product&utm_medium=email_sig&utm_campaign=gmail_api>
