Re: 如何优化flink内存?

[Yifei Qi]

你的意思是自己去实现滑动窗口的功能么?

戴嘉诚  于2019年9月4日周三 下午10:51写道：

> 这里我建议你是用key process然后在里面用state来管理和聚集数据，这样会节省很大一部分内存
>
> Yifei Qi 于2019年9月4日 周三20:07写道：
>
> > 大家好:
> >
> >
> >
> > 不知道大家在使用flink时遇到过内存消耗过大的问题么?
> >
> >
> >
> > 我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不知道有没有人知道如何优化?
> >
> >
> >
> > 具体情况是这样的:
> >
> > 准备的测试数据模拟一天时间内3万个用户的5万条数据. 原始数据一共是100M.
> >
> > 按照用户进行分组.
> >
> > 计算两个滑动窗口任务:一个是近1小时, 每5秒滑动一次的窗口. 一个是近24小时, 每1分钟滑动一次的窗口.
> >
> >
> >
> >
> >
> > flink运行在3个节点后, 内存合计就用了5G.
> >
> >
> >
> >
> >
> > flink如此消耗内存, 不知道是它本来就这么吃内存, 还是我使用的有问题.
> >
> >
> >
> >
> >
> > 顺祝商祺
> >
> >
> > --
> >
> >
> > Qi Yifei
> > [image: https://]about.me/qyf404
> > <
> >
> https://about.me/qyf404?promo=email_sig_source=product_medium=email_sig_campaign=gmail_api
> > >
> >
>


-- 


Qi Yifei
[image: https://]about.me/qyf404
<https://about.me/qyf404?promo=email_sig_source=product_medium=email_sig_campaign=gmail_api>

Re: 如何优化flink内存?

[Yifei Qi]

意思是要自己写方法实现滑动窗口的功能?  自己控制中间数据如何保存?

Victor Wong  于2019年9月4日周三 下午10:36写道：

> 这种情况不建议使用滑动窗口，因为会保存大量的窗口数据（24小时/1分钟）；
> 可以自定义ProcessFunction，参照[1]；
>
> [1].
> https://stackoverflow.com/questions/51977741/flink-performance-issue-with-sliding-time-window
>
>
>
>
>
> On 04/09/2019, 8:07 PM, "Yifei Qi"  wrote:
>
> >大家好:
> >
> >
> >
> >不知道大家在使用flink时遇到过内存消耗过大的问题么?
> >
> >
> >
> >我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不知道有没有人知道如何优化?
> >
> >
> >
> >具体情况是这样的:
> >
> >准备的测试数据模拟一天时间内3万个用户的5万条数据. 原始数据一共是100M.
> >
> >按照用户进行分组.
> >
> >计算两个滑动窗口任务:一个是近1小时, 每5秒滑动一次的窗口. 一个是近24小时, 每1分钟滑动一次的窗口.
> >
> >
> >
> >
> >
> >flink运行在3个节点后, 内存合计就用了5G.
> >
> >
> >
> >
> >
> >flink如此消耗内存, 不知道是它本来就这么吃内存, 还是我使用的有问题.
> >
> >
> >
> >
> >
> >顺祝商祺
> >
> >
> >--
> >
> >
> >Qi Yifei
> >[image: https://]about.me/qyf404
> ><
> https://about.me/qyf404?promo=email_sig_source=product_medium=email_sig_campaign=gmail_api
> >
>


-- 


Qi Yifei
[image: https://]about.me/qyf404
<https://about.me/qyf404?promo=email_sig_source=product_medium=email_sig_campaign=gmail_api>

Re: 如何优化flink内存?

[Yifei Qi]

你们遇到这种问题怎么处理的了?

Shuo Cheng  于2019年9月4日周三 下午10:47写道：

> 如果是使用 datastream api 的话，滑动窗口对于每条数据都会在 state 中存 size / slide
> 份，像你这种大小设置，肯定会导致内存的大量消耗.
>
> On Wed, Sep 4, 2019 at 8:07 PM Yifei Qi  wrote:
>
> > 大家好:
> >
> >
> >
> > 不知道大家在使用flink时遇到过内存消耗过大的问题么?
> >
> >
> >
> > 我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不知道有没有人知道如何优化?
> >
> >
> >
> > 具体情况是这样的:
> >
> > 准备的测试数据模拟一天时间内3万个用户的5万条数据. 原始数据一共是100M.
> >
> > 按照用户进行分组.
> >
> > 计算两个滑动窗口任务:一个是近1小时, 每5秒滑动一次的窗口. 一个是近24小时, 每1分钟滑动一次的窗口.
> >
> >
> >
> >
> >
> > flink运行在3个节点后, 内存合计就用了5G.
> >
> >
> >
> >
> >
> > flink如此消耗内存, 不知道是它本来就这么吃内存, 还是我使用的有问题.
> >
> >
> >
> >
> >
> > 顺祝商祺
> >
> >
> > --
> >
> >
> > Qi Yifei
> > [image: https://]about.me/qyf404
> > <
> >
> https://about.me/qyf404?promo=email_sig_source=product_medium=email_sig_campaign=gmail_api
> > >
> >
>


-- 


Qi Yifei
[image: https://]about.me/qyf404
<https://about.me/qyf404?promo=email_sig_source=product_medium=email_sig_campaign=gmail_api>

如何优化flink内存?

[Yifei Qi]

大家好:



不知道大家在使用flink时遇到过内存消耗过大的问题么?



我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不知道有没有人知道如何优化?



具体情况是这样的:

准备的测试数据模拟一天时间内3万个用户的5万条数据. 原始数据一共是100M.

按照用户进行分组.

计算两个滑动窗口任务:一个是近1小时, 每5秒滑动一次的窗口. 一个是近24小时, 每1分钟滑动一次的窗口.





flink运行在3个节点后, 内存合计就用了5G.





flink如此消耗内存, 不知道是它本来就这么吃内存, 还是我使用的有问题.





顺祝商祺


-- 


Qi Yifei
[image: https://]about.me/qyf404