????K8S????HA??????HDFS????????????????????
??2020??12??22?? 13:43??liujian ??????
Thanks,????????flink-conf????????history
server,??????????????hdfs??????,??????????????web ui??????????????????????????,
------------------ ???????? ------------------
??????:
"user-zh"
<[email protected]>;
????????: 2020??12??22??(??????) ????1:05
??????: "user-zh"<[email protected]>;
????: Re: flink-shaded-hadoop-2-uber????????????
history-server??native
k8s??????????????????????????????????????deployment????????history-server??K8s??????
native k8s????????????Flink????????????????????K8s??????
Best,
yang
liujian <[email protected]> ??2020??12??21?????? ????8:16??????
> Thanks, ????????????docker??????????????????,??????????Native
K8s??????????,??????????????
> &nbsp;????????Dockerfile??????????????????
>
>
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar&nbsp;
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh"]
> EXPOSE 6123 8081 8082
> CMD ["help","history-server"]
>
> --------------------------------------------------------
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar&nbsp;
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh","history-server"]
> EXPOSE 6123 8081 8082
> CMD ["help"]
>
>
>
> ??????????????...,??????????????
>
>
>
>
>
>
> ------------------&nbsp;????????&nbsp;------------------
> ??????:
>
"user-zh"
>
<
> [email protected]&gt;;
> ????????:&nbsp;2020??12??21??(??????) ????3:08
> ??????:&nbsp;"user-zh"<[email protected]&gt;;
>
> ????:&nbsp;Re: flink-shaded-hadoop-2-uber????????????
>
>
>
> ??????????????????history-server????????listen????????
>
> ??????????????????????????????????????????????
> docker run -p 8082:8082 --env
> FLINK_PROPERTIES="historyserver.archive.fs.dir: file:///tmp/flink-jobs"
> flink:latest history-server
>
> ??????????????????????
>
>
https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html
>
> Best,
> Yang
>
> liujian <[email protected]&gt; ??2020??12??21?????? ????1:35??????
>
> &gt;
??????????????????history-server,????????????,????????????????????,??????????????????????????????,????????????????
> &gt;
> &gt;
> &gt;
> &gt;
> &gt;
------------------&amp;nbsp;????????&amp;nbsp;------------------
> &gt; ??????:
>
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> "user-zh"
>
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> <
> &gt; [email protected]&amp;gt;;
> &gt; ????????:&amp;nbsp;2020??12??21??(??????) ????10:15
> &gt;
??????:&amp;nbsp;"user-zh"<[email protected]&amp;gt;;
> &gt;
> &gt; ????:&amp;nbsp;Re: flink-shaded-hadoop-2-uber????????????
> &gt;
> &gt;
> &gt;
> &gt;
> &gt;
>
????????????CMD??entrypoint??????docker-entrypoint.sh[1]????????history-server??????????????history-server??????????????
> &gt;
> &gt; [1].
> &gt;
> https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
> &gt
>
<https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh&gt>
> ;
> &gt; Best,
> &gt; Yang
> &gt;
> &gt;
> &gt; liujian <[email protected]&amp;gt; ??2020??12??20??????
????12:45??????
> &gt;
> &gt; &amp;gt; Thanks,&amp;amp;nbsp;
> &gt; &amp;gt; &amp;amp;nbsp; &amp;amp;nbsp;
> &amp;amp;nbsp;??????????????historyServer,????????????????????????flink
> &gt; &amp;gt; 1.12.0??Dockerfile ??????CMD
["history-server"]&amp;amp;nbsp;
> &gt; ??????8082????,??????????????????????
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
>
------------------&amp;amp;nbsp;????????&amp;amp;nbsp;------------------
> &gt; &amp;gt; ??????:
> &gt;
>
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; "user-zh"
> &gt;
>
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; <
> &gt; &amp;gt; [email protected]&amp;amp;gt;;
> &gt; &amp;gt; ????????:&amp;amp;nbsp;2020??12??19??(??????)
????9:35
> &gt; &amp;gt;
??????:&amp;amp;nbsp;"user-zh"<[email protected]
> &amp;amp;gt;;
> &gt; &amp;gt;
> &gt; &amp;gt; ????:&amp;amp;nbsp;Re:
flink-shaded-hadoop-2-uber????????????
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; ??????????Flink
Client??????HADOOP_CONF_DIR??????????????
> &gt; &amp;gt; Flink
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt;
>
Client????????hdfs-site.xml??core-site.xml????????????????????ConfigMap????????????JobManager??TaskManager??
> &gt; &amp;gt;
> &gt;
>
????????????????????????????classpath??????????lib??????flink-shaded-hadoop??????????????????????????????????hdfs??
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; Best,
> &gt; &amp;gt; Yang
> &gt; &amp;gt;
> &gt; &amp;gt; liujian <[email protected]&amp;amp;gt;
??2020??12??19??????
> ????8:29??????
> &gt; &amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
>
HDFS??Ha????,????????hdfs-site.xml,????????????,????configMap??????hdfs-site.xml??????$FLINK_HOME/conf??????
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt;
>
------------------&amp;amp;amp;nbsp;????????&amp;amp;amp;nbsp;------------------
> &gt; &amp;gt; &amp;amp;gt; ??????:
> &gt; &amp;gt;
> &gt;
>
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> &gt; &amp;gt; "user-zh"
> &gt; &amp;gt;
> &gt;
>
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> &gt; &amp;gt; <
> &gt; &amp;gt; &amp;amp;gt;
[email protected]&amp;amp;amp;gt;;
> &gt; &amp;gt; &amp;amp;gt;
????????:&amp;amp;amp;nbsp;2020??12??16??(??????) ????7:21
> &gt; &amp;gt; &amp;amp;gt;
??????:&amp;amp;amp;nbsp;"superainbower"<
> [email protected]
> &gt; &amp;amp;amp;gt;;
> &gt; &amp;gt; &amp;amp;gt;
????:&amp;amp;amp;nbsp;"user-zh"<
> [email protected]
> &gt; &amp;amp;amp;gt;;
> &gt; &amp;gt; &amp;amp;gt; ????:&amp;amp;amp;nbsp;Re:
> flink-shaded-hadoop-2-uber????????????
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
>
????????K8s????????hdfs????????????flink-shaded-hadoop????lib????????????????hadoop??FileSystem????????plugin????
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; Best,
> &gt; &amp;gt; &amp;amp;gt; Yang
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; superainbower <[email protected]
> &amp;amp;amp;gt;
> &gt; ??2020??12??16?????? ????6:19??????
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
>
??????????????????K8S??????????HDFS????????????????shaded??jar??????????????
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
??2020??12??16?? 10:53??Yang Wang <
> &gt; [email protected]&amp;amp;amp;gt;
> &gt; &amp;gt; ??????
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> ??flink-shaded-hadoop-2-uber??2.8.3-10.0????
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> 2.8.3????hadoop????????10.0??????flink-shaded[1]??????
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
>
??????1.10????????????????flink-shaded-hadoop????????????????????HADOOP_CLASSPATH??????????????[2]??
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
??????????Flink????hadoop
> free??????????????hadoop2??hadoop3
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt;
????????????????flink-shaded-hadoop????????????????????????????????2.8.3-10.0
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; [1].
> https://github.com/apache/flink-shaded
> &gt <https://github.com/apache/flink-shaded&gt>; &amp;gt <
> https://github.com/apache/flink-shaded&amp;gt&gt;; &amp;amp;gt;
> &amp;amp;amp;gt;
> &gt; [2].
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
>
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> &gt
>
<https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>;
> &amp;gt
> &gt; <
>
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> ;;
> &gt; &amp;amp;gt
> &gt; &amp;gt; <
> &gt;
>
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt
> &gt
>
<https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt&gt>;
> ;;
> &gt; &amp;gt; &amp;amp;amp;gt
> &gt; &amp;gt; &amp;amp;gt; <
> &gt; &amp;gt;
> &gt;
>
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;amp;gt&amp;amp;gt
> &gt
>
<https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;amp;gt&amp;amp;gt&gt>;
> &amp;gt
> &gt; <
>
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;amp;gt&amp;amp;gt&amp;gt&gt
> ;;
> &gt; ;
> &gt; &amp;gt; &amp;amp;gt; ;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; Best,
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; Yang
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; ????
<[email protected]
> &amp;amp;amp;gt;
> &gt; ??2020??12??11?????? ????8:45??????
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
&amp;amp;amp;gt;
> flink-shaded-hadoop-2-uber??????????????
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
&amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
&amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
&amp;amp;amp;gt; xxx-xxx
> ??????????????????
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
&amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
&amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
&amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
