Re: 【Flink Join内存问题】

2020-07-13 文章 admin
regular join会缓存两边流的所有数据,interval join只存一段时间内的,相比当然节省很大的状态存储

> 2020年7月13日 下午10:30,忝忝向仧 <153488...@qq.com> 写道:
> 
> Hi:
> 
> 
> interval join可以缓解key值过多问题么?
> interval join不也是计算某段时间范围内的join么,跟regular join相比,如何做到避免某个stream的key过多问题?
> 谢谢.
> 
> 
> 
> 
> --原始邮件--
> 发件人:  
>   "user-zh"   
>  
> <17626017...@163.com;
> 发送时间:2020年7月6日(星期一) 中午11:12
> 收件人:"user-zh" 
> 主题:Re: 【Flink Join内存问题】
> 
> 
> 
> regular join确实是这样,所以量大的话可以用interval join 、temporal join
> 
>  2020年7月5日 下午3:50,忝忝向仧 <153488...@qq.com 写道:
>  
>  Hi,all:
>  
>  我看源码里写到JoinedStreams:
>  也就是说join时候都是走内存计算的,那么如果某个stream的key值过多,会导致oom
>  那么有什么预防措施呢?
>  将key值多的一边进行打散?
>  
>  
>  Right now, the join is being evaluated in memory so you need to ensure 
> that the number
>  * of elements per key does not get too high. Otherwise the JVM might 
> crash.



Re: 【Flink Join内存问题】

2020-07-05 文章 admin
regular join确实是这样,所以量大的话可以用interval join 、temporal join

> 2020年7月5日 下午3:50,忝忝向仧 <153488...@qq.com> 写道:
> 
> Hi,all:
> 
> 我看源码里写到JoinedStreams:
> 也就是说join时候都是走内存计算的,那么如果某个stream的key值过多,会导致oom
> 那么有什么预防措施呢?
> 将key值多的一边进行打散?
> 
> 
> Right now, the join is being evaluated in memory so you need to ensure that 
> the number
> * of elements per key does not get too high. Otherwise the JVM might crash.