K8SHA??HDFS
??2020??12??22?? 13:43??liujian ??
Thanks,flink-confhistory
server,??hdfs??,??web ui??,
-- --
??:
Thanks,flink-confhistory
server,??hdfs??,??web ui??,
-- --
??:
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh"]
> EXPOSE 6123 8081 8082
> CMD ["help","history-server"]
>
> -------------
Thanks, docker??,??Native
K8s??,??
Dockerfile??
COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
/opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
ENTRYPOINT ["/docker-entrypoint.sh"]
EXPOSE
"user-zh"
> <
> danrtsey...@gmail.com>;
> 发送时间: 2020年12月21日(星期一) 上午10:15
> 收件人: "user-zh"
> 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
>
> 你不需要修改CMD，entrypoint默认是docker-entrypoin
??history-server,,,??,
-- --
??:
"user
<
> danrtsey...@gmail.com>;
> 发送时间: 2020年12月19日(星期六) 晚上9:35
> 收件人: "user-zh"
> 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
> 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> Flink
>
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建
Thanks,
??historyServer,flink
1.12.0??Dockerfile ??CMD ["history-server"]
??8082,??
-- --
??:
lt;
> danrtsey...@gmail.com>;
> 发送时间: 2020年12月16日(星期三) 晚上7:21
> 收件人: "superainbower" 抄送: "user-zh" 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
>
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
>
> Best,
>
HDFS??Ha,hdfs-site.xml,,configMap??hdfs-site.xml??$FLINK_HOME/conf??
-- --
??:
"user-zh"
如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
Best,
Yang
superainbower 于2020年12月16日周三 下午6:19写道：
> 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> 在2020年12月16日 10:53，Yang Wang 写道：
>
> 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
>
> 2.8.3指
借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
在2020年12月16日 10:53，Yang Wang 写道：
以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
如果你还坚持使用
以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
[1]. https://github.com/apache/flink
前几日在flink1.9-1.12各个客户端测试提交job时候发现
> 对于1.10+的版本，我手动导入export HADOOP_CLASSPATH=`hadoop
>
> classpath`，没有效果，各种报错，基本都是Hadoop相关类、方法不存在（NoSuchMethod之类错误），把pom文件改来改去依然无用，后来只在pom文件中导入依赖：flink-shaded-hadoop-2-uber*-*，竟然可以正常提交并运行job了。
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
谢谢回复！
这个文档我也有查看
前几日在flink1.9-1.12各个客户端测试提交job时候发现
对于1.10+的版本，我手动导入export HADOOP_CLASSPATH=`hadoop
classpath`，没有效果，各种报错，基本都是Hadoop相关类、方法不存在（NoSuchMethod之类错误），把pom文件改来改去依然无用，后来只在pom文件中导入依赖：flink-shaded-hadoop-2-uber*-*，竟然可以正常提交并运行job了。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
flink已经不建议将hadoop的jar放到lib里了
可以通过
export HADOOP_CLASSPATH=`hadoop classpath`
加载hadoop的依赖
参考链接：
https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html#providing-hadoop-classes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
请问在升级flink版本的过程中，需要在flink/lib里面引入该包，但该包的版本号如何确定？
flink-shaded-hadoop-2-uber*-*
--
Sent from: http://apache-flink.147419.n8.nabble.com/
flink-shaded-hadoop-2-uber版本如何选择？
xxx-xxx 分别表示什么意思？
18 matches
Mail list logo
