history-server和native k8s没有关系的，如果你想使用，就需要用一个deployment单独部署history-server在K8s集群内
native k8s覆盖的场景是Flink任务如何原生地提交到K8s集群内 Best, yang liujian <13597820...@qq.com> 于2020年12月21日周一 下午8:16写道： > Thanks, 使用你下面的docker方式我测试确实可以,但是不知道Native K8s如何来操作,可以详细说一下 > 我现在是Dockerfile如下两种情况都试过 > > > COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar > /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar > ENTRYPOINT ["/docker-entrypoint.sh"] > EXPOSE 6123 8081 8082 > CMD ["help","history-server"] > > -------------------------------------------------------- > COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar > /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar > ENTRYPOINT ["/docker-entrypoint.sh","history-server"] > EXPOSE 6123 8081 8082 > CMD ["help"] > > > > 这两种都尝试过...,请帮忙指教一下 > > > > > > > ------------------ 原始邮件 ------------------ > 发件人: > "user-zh" > < > danrtsey...@gmail.com>; > 发送时间: 2020年12月21日(星期一) 下午3:08 > 收件人: "user-zh"<user-zh@flink.apache.org>; > > 主题: Re: flink-shaded-hadoop-2-uber版本如何选择 > > > > 是的，理解没有错，history-server会启动后listen一个端口 > > 我这边尝试是没有问题的，你可以通过如下命令启动 > docker run -p 8082:8082 --env > FLINK_PROPERTIES="historyserver.archive.fs.dir: file:///tmp/flink-jobs" > flink:latest history-server > > 更多配置你参考如下文档 > > https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html > > Best, > Yang > > liujian <13597820...@qq.com> 于2020年12月21日周一 下午1:35写道： > > > 我理解的是启动一个history-server,会有一个进程,然后会暴露指定的端口,但是我好像并没有看到这样的效果,是我的理解有错吗 > > > > > > > > > > ------------------&nbsp;原始邮件&nbsp;------------------ > > 发件人: > > > "user-zh" > > > < > > danrtsey...@gmail.com&gt;; > > 发送时间:&nbsp;2020年12月21日(星期一) 上午10:15 > > 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;; > > > > 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择 > > > > > > > > > > > 你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了 > > > > [1]. > > > https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh > > > <https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh>> > ; > > Best, > > Yang > > > > > > liujian <13597820...@qq.com&gt; 于2020年12月20日周日 下午12:45写道： > > > > &gt; Thanks,&amp;nbsp; > > &gt; &amp;nbsp; &amp;nbsp; > &amp;nbsp;但是我需要访问historyServer,那么应该需要如何操作我将flink > > &gt; 1.12.0的Dockerfile 修改成CMD ["history-server"]&amp;nbsp; > > 并暴露8082端口,但是好像达不到这个效果 > > &gt; > > &gt; > > &gt; > > &gt; > > &gt; > ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------ > > &gt; 发件人: > > > &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; > > "user-zh" > > > &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; > > < > > &gt; danrtsey...@gmail.com&amp;gt;; > > &gt; 发送时间:&amp;nbsp;2020年12月19日(星期六) 晚上9:35 > > &gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org > &amp;gt;; > > &gt; > > &gt; 主题:&amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择 > > &gt; > > &gt; > > &gt; > > &gt; 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了 > > &gt; Flink > > &gt; > > &gt; > > > Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的 > > &gt; > > > 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的 > > &gt; > > &gt; > > &gt; Best, > > &gt; Yang > > &gt; > > &gt; liujian <13597820...@qq.com&amp;gt; 于2020年12月19日周六 > 下午8:29写道： > > &gt; > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; > > > HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下 > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; &amp;gt; > > > ------------------&amp;amp;nbsp;原始邮件&amp;amp;nbsp;------------------ > > &gt; &amp;gt; 发件人: > > &gt; > > > &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > &gt; "user-zh" > > &gt; > > > &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > &gt; < > > &gt; &amp;gt; danrtsey...@gmail.com&amp;amp;gt;; > > &gt; &amp;gt; 发送时间:&amp;amp;nbsp;2020年12月16日(星期三) 晚上7:21 > > &gt; &amp;gt; 收件人:&amp;amp;nbsp;"superainbower"< > superainbo...@163.com > > &amp;amp;gt;; > > &gt; &amp;gt; 抄送:&amp;amp;nbsp;"user-zh"< > user-zh@flink.apache.org > > &amp;amp;gt;; > > &gt; &amp;gt; 主题:&amp;amp;nbsp;Re: > flink-shaded-hadoop-2-uber版本如何选择 > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; > > > 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载 > > &gt; &amp;gt; > > &gt; &amp;gt; Best, > > &gt; &amp;gt; Yang > > &gt; &amp;gt; > > &gt; &amp;gt; superainbower <superainbo...@163.com > &amp;amp;gt; > > 于2020年12月16日周三 下午6:19写道： > > &gt; &amp;gt; > > &gt; &amp;gt; &amp;amp;gt; > 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去 > > &gt; &amp;gt; &amp;amp;gt; 在2020年12月16日 10:53，Yang Wang < > > danrtsey...@gmail.com&amp;amp;gt; > > &gt; 写道： > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; > 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例 > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; > 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本 > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; > > &gt; > > > 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]， > > &gt; &amp;gt; &amp;amp;gt; 这样可以让Flink变得hadoop > free，从而同时支持hadoop2和hadoop3 > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; > > 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0 > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; [1]. > https://github.com/apache/flink-shaded > > <https://github.com/apache/flink-shaded>>; &gt < > https://github.com/apache/flink-shaded&gt>; &amp;gt; > &amp;amp;gt; > > [2]. > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; > > &gt; > > > https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation > > > <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation>>; > &gt > > < > https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt> > ;; > > &amp;gt > > &gt; < > > > https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt > > > <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt>>; > ;; > > &gt; &amp;amp;gt > > &gt; &amp;gt; < > > &gt; > > > https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt > > > <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt>>; > &gt > > < > https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt&gt> > ;; > > ; > > &gt; &amp;gt; ; > > &gt; &amp;gt; &amp;amp;gt; Best, > > &gt; &amp;gt; &amp;amp;gt; Yang > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; 赢峰 <si_ji_f...@163.com > &amp;amp;gt; > > 于2020年12月11日周五 上午8:45写道： > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; > flink-shaded-hadoop-2-uber版本如何选择？ > > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; xxx-xxx > 分别表示什么意思？ > > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt; > > &gt; &amp;gt; &amp;amp;gt;
