ception e) {
e.printStackTrace();
}
return prop;
});
}
}
tiantingting5...@163.com
发件人： Xintong Song
发送时间： 2020-05-08 15:56
收件人： user-zh
主题： Re: exception：beyond the 'PHYSICAL' memory limit
这个报错是 Flink 使用的内存超出了申请的 container 大小，被 yarn 杀掉了。因为 jvm 没有报 oom，所以应该只能是
na
也可以尝试按照下面的方法进一步调大 native 内存。
1. taskmanager.memory.task.heap.size 进一步调小，比如 1.5g 或 1g
2. taskmanager.memory.jvm-overhead.max 调大以避免冲突，建议先调成 4g
另外你说这个问题是作业运行一段时间后发生的，具体是多长时间发生的呢？也可以考虑先把 -ytm 调得很大，观察一下 container
的内存用量是如何增长的。如果持续增长不收敛，那有可能是存在内存泄漏的问题。
Thank you~
Xintong Song
On Fri, May 8, 2020 at
这个报错是 Flink 使用的内存超出了申请的 container 大小，被 yarn 杀掉了。因为 jvm 没有报 oom，所以应该只能是
native 内存超用。
看了一下你的配置，按照这个配置 jvm overhead 留出了 800MB+，再加上按你说的 streaming 作业没有用到 state，那
512 MB 的 manage memory 也空出来了，加在一起 native 内存有 1.3GB+ 应该是够用的。从 dump
信息来看配置是正常生效了，也没有其他子进程，按理说不应该超用才对。
建议还是再确认下是否有用到了 rocksdb，以及是否有用到其他使用
最近用flink1.10写一个流任务，大致的逻辑，是将数据清洗以后写入hbase，中间不需要保存任何状态
这里是启动脚本：
export HADOOP_CONF_DIR=/etc/hadoop/conf
export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*
/opt/flink/flink-1.10.0/bin/flink run -p 1 -m yarn-cluster -yqu root.crawler \
-ynm testRealTime22 \
-yD
