Hi,
MaxMetaspaceSize 是在JDK8中新增的,用以取代以前的PermGen[1],JDK7中自然不支持。可以在hadoop集群中再安装JDK8,将
env.java.home 指向新的JDK
[1] https://www.baeldung.com/java-permgen-metaspace#metaspace
祝好
唐云
From: Jacob <17691150...@163.com>
Sent: Saturday, January 23, 2021 16:17
To: user-zh@flink.apache.org
Subject: Flink on yarn JDK 版本支持问题
使用Flink1.11.2客户端 往hadoop集群提交job,报错如下:
LogType:jobmanager.err
Log Upload Time:Sat Jan 23 00:06:47 -0800 2021
LogLength:160
Log Contents:
Unrecognized VM option 'MaxMetaspaceSize=268435456'
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
请问是因为hadoop集群jdk版本低的问题吗?
现在已知的是hadoop集群jdk版本为1.7
之前一直以为在flink配置文件中配置的*env.java.home*就应该是hadoop集群的java home,通过测试,发现并不是,这个java
home就是客户端(本地)所在机器的java home。这个java版本已经是1.8+,但提交job时,仍然报错,如上。
是因为hadoop集群的jdk低吗?如果升级了hadoop集群的jdk,那么在flink配置文件中的env.java.home
需要改成hadoop集群的java home吗?还是不用改变,依旧使用本地的java home路径?
这两个jdk对于启动一个flink job的作用是什么呀?( 配置的env.java.home和hadoop集群的java home)
-
Thanks!
Jacob
--
Sent from: http://apache-flink.147419.n8.nabble.com/