?????? flink-shaded-hadoop-2-uber????????????

liujian Sat, 19 Dec 2020 20:45:44 -0800

Thanks,&nbsp;
&nbsp; &nbsp; &nbsp;??????????????historyServer,????????????????????????flink 
1.12.0??Dockerfile ??????CMD ["history-server"]&nbsp; 
??????8082????,??????????????????????





------------------&nbsp;????????&nbsp;------------------
??????:                                                                         
                                               "user-zh"                        
                                                            
<[email protected]&gt;;
????????:&nbsp;2020??12??19??(??????) ????9:35
??????:&nbsp;"user-zh"<[email protected]&gt;;

????:&nbsp;Re: flink-shaded-hadoop-2-uber????????????



??????????Flink Client??????HADOOP_CONF_DIR??????????????
Flink
Client????????hdfs-site.xml??core-site.xml????????????????????ConfigMap????????????JobManager??TaskManager??
????????????????????????????classpath??????????lib??????flink-shaded-hadoop??????????????????????????????????hdfs??


Best,
Yang

liujian <[email protected]&gt; ??2020??12??19?????? ????8:29??????

&gt;
&gt; 
HDFS??Ha????,????????hdfs-site.xml,????????????,????configMap??????hdfs-site.xml??????$FLINK_HOME/conf??????
&gt;
&gt;
&gt; ------------------&amp;nbsp;????????&amp;nbsp;------------------
&gt; ??????:
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
 "user-zh"
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
 <
&gt; [email protected]&amp;gt;;
&gt; ????????:&amp;nbsp;2020??12??16??(??????) ????7:21
&gt; ??????:&amp;nbsp;"superainbower"<[email protected]&amp;gt;;
&gt; ????:&amp;nbsp;"user-zh"<[email protected]&amp;gt;;
&gt; ????:&amp;nbsp;Re: flink-shaded-hadoop-2-uber????????????
&gt;
&gt;
&gt;
&gt;
&gt; 
????????K8s????????hdfs????????????flink-shaded-hadoop????lib????????????????hadoop??FileSystem????????plugin????
&gt;
&gt; Best,
&gt; Yang
&gt;
&gt; superainbower <[email protected]&amp;gt; ??2020??12??16?????? 
????6:19??????
&gt;
&gt; &amp;gt; 
??????????????????K8S??????????HDFS????????????????shaded??jar??????????????
&gt; &amp;gt; ??2020??12??16?? 10:53??Yang Wang <[email protected]&amp;gt; 
??????
&gt; &amp;gt;
&gt; &amp;gt; ??flink-shaded-hadoop-2-uber??2.8.3-10.0????
&gt; &amp;gt;
&gt; &amp;gt; 2.8.3????hadoop????????10.0??????flink-shaded[1]??????
&gt; &amp;gt;
&gt; &amp;gt;
&gt; 
??????1.10????????????????flink-shaded-hadoop????????????????????HADOOP_CLASSPATH??????????????[2]??
&gt; &amp;gt; ??????????Flink????hadoop free??????????????hadoop2??hadoop3
&gt; &amp;gt;
&gt; &amp;gt; 
????????????????flink-shaded-hadoop????????????????????????????????2.8.3-10.0
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; [1]. https://github.com/apache/flink-shaded
&gt; &amp;gt; [2].
&gt; &amp;gt;
&gt; &amp;gt;
&gt; 
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
&gt; &amp;gt
&gt; 
<https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt;
&gt; ;
&gt; &amp;gt; Best,
&gt; &amp;gt; Yang
&gt; &amp;gt;
&gt; &amp;gt; ???? <[email protected]&amp;gt; ??2020??12??11?????? 
????8:45??????
&gt; &amp;gt;
&gt; &amp;gt; &amp;gt; flink-shaded-hadoop-2-uber??????????????
&gt; &amp;gt; &amp;gt;
&gt; &amp;gt; &amp;gt;
&gt; &amp;gt; &amp;gt; xxx-xxx ??????????????????
&gt; &amp;gt; &amp;gt;
&gt; &amp;gt; &amp;gt;
&gt; &amp;gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;

?????? flink-shaded-hadoop-2-uber????????????

回复