yarn,我已经关闭了yarn的内存检查,glibc的那个参数已经配置成1了

Weihua Hu <huweihua....@gmail.com> 于2023年4月21日周五 19:23写道:

> Hi,
>
> 你作业运行在 YARN 还是 Kubernetes 上?可以先关注下文档里的 Glibc 泄露问题
>
> Best,
> Weihua
>
>
> On Fri, Apr 21, 2023 at 6:04 PM Guo Thompson <gwqloveli...@gmail.com>
> wrote:
>
> > Flink
> >
> Job是基于sql的,Flink版本为1.13.3,state用rocksDB存,发现会存在内存泄露的情况,作业运行一段时间后,会被linux内核kill掉,求助,如何解决?
> > 网上
> >
> http://www.whitewood.me/2021/01/02/%E8%AF%A6%E8%A7%A3-Flink-%E5%AE%B9%E5%99%A8%E5%8C%96%E7%8E%AF%E5%A2%83%E4%B8%8B%E7%9A%84-OOM-Killed/
> > 讲很可能就是rocksDB的内存没法回收导致。
> >
> > 1、分配 tm的30G内存,jvm堆内的远远没有使用完。
> > [image: 8f47b109-a04b-4bc1-8f64-fed21c58838d.jpeg]
> > 2、从linux上查看内存使用,实际使用内存 44.4G,远远超出设置的30G
> > [image: image.png]
> > 3、dump下tm的jvm内存,实际不到2G(dump会触发full gc)
> > [image: image.png]
> >
>

回复