?????? flink on yarn????????

Cayden chen Tue, 14 Jul 2020 23:57:20 -0700

???????????????????????? 
logback??appder??appder????????????????????(????flink????taskmanager??????????????????applicationId????????????????????????jar??????????????????appder)??????????????MDC.put(),????????????appId????appder??????????????????????????????





------------------&nbsp;????????&nbsp;------------------
??????:                                                                         
                                               "user-zh"                        
                                                            
<[email protected]&gt;;
????????:&nbsp;2020??7??14??(??????) ????5:31
??????:&nbsp;"[email protected]"<[email protected]&gt;;

????:&nbsp;??????   flink on yarn????????





????????????Yarn??????????????????????
1. 
????rm-address/ws/v1/cluster/apps/applicationId??????amContainerLog????url????jm??url.
2. 
taskmanager????url????rm-address/proxy/applicationId/taskmanagers,????????taskmanager????????????????amContainerLog????containername??ip??


????????????????????????????????????????????url?start=0&amp;end=1024
| |
jianxu
|
|
[email protected]
|
??2020??07??14?? 17:07??Cayden chen<[email protected]&gt; ??????
????????????????????????????????????




------------------&amp;nbsp;????????&amp;nbsp;------------------
??????:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
 
"user-zh"&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
 <[email protected]&amp;gt;;
????????:&amp;nbsp;2020??7??14??(??????) ????5:05
??????:&amp;nbsp;"user-zh"<[email protected]&amp;gt;;

????:&amp;nbsp;Re: Re: Re: flink on yarn????????



Flink??1.11????????????log4j2, 
log4j2????????????appender[1]????????????????????????????????????

[1] https://logging.apache.org/log4j/2.x/manual/appenders.html

Best,
Yangze Guo

On Tue, Jul 14, 2020 at 4:46 PM nicygan <[email protected]&amp;gt; wrote:
&amp;gt;
&amp;gt; ????????????????TM????????????
&amp;gt;
&amp;gt; ????????????????????????????????????????????????????????JM??????
&amp;gt;
&amp;gt;
&amp;gt;
&amp;gt;
&amp;gt;
&amp;gt;
&amp;gt; ?? 2020-07-14 12:35:06??"zhisheng" <[email protected]&amp;gt; 
??????
&amp;gt; &amp;gt;???? YARN ?? applicationId?????????????? HDFS ???????? 
taskmanager ????????????????????????????????????????????
&amp;gt; &amp;gt;
&amp;gt; &amp;gt;Yangze Guo <[email protected]&amp;gt; ??2020??7??14?????? 
????11:58??????
&amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; Hi, ????
&amp;gt; &amp;gt;&amp;gt;
&amp;gt; &amp;gt;&amp;gt; 
??????????url??????????????????????????????????????????????
&amp;gt; &amp;gt;&amp;gt;
&amp;gt; &amp;gt;&amp;gt; Best,
&amp;gt; &amp;gt;&amp;gt; Yangze Guo
&amp;gt; &amp;gt;&amp;gt;
&amp;gt; &amp;gt;&amp;gt; On Tue, Jul 14, 2020 at 8:26 AM ???? 
<[email protected]&amp;gt; wrote:
&amp;gt; &amp;gt;&amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; ???????????? 1???? Yangze Guo 
??????????????????????????tm??????????????????????????????????????????????????
&amp;gt; &amp;gt;&amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; Yangze Guo <[email protected]&amp;gt; 
??2020??7??13?????? ????5:03??????
&amp;gt; &amp;gt;&amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; 1.
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; 
????????????????????????????????????tm????????????????????????????application????????????????????????trick??????????????jm??????????tm????????????NodeManager????????????url????????????container??????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; 2. ??????????????????????????[1]? 
??????????ck????????????????????????????job
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; [1]
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; 
https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/task_failure_recovery.html
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; Best,
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; Yangze Guo
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; On Mon, Jul 13, 2020 at 2:40 PM 
???? <[email protected]&amp;gt; wrote:
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; ????????&amp;nbsp; 
????????????????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; 1 ????????????????????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; 2 ???????? per-job????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; 3 ????????cdh flink.1.10
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; ?? 2020-07-13 
11:18:46??"Yangze Guo" <[email protected]&amp;gt; ??????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;Hi,
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; 
&amp;gt;??????????????????????????Yarn??????????????[1]
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; 
&amp;gt;??????????????????????????per-job mode [2][3]
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;[1]
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; 
https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/yarn_setup.html#log-files
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;[2]
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; 
https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/#per-job-mode
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;[3]
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; 
https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;Best,
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;Yangze Guo
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;On Mon, Jul 13, 
2020 at 10:49 AM ???? <[email protected]&amp;gt; wrote:
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;&amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;&amp;gt; 
????????????????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;&amp;gt; 1 flink 
on yarn?????? taskmanager ?????????? ???????????????????? ????????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; ??????????es???????????????????? 
??????????????taskmanager ????????????????????????????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;&amp;gt; 2 flink 
on yarn???? ??????????????taskmanager ??????????jobmanager ????????????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; ?????????????????????? 
??&amp;nbsp;&amp;nbsp; ????????task???? ???????????????? 
taskmanager??????jobmanager??????
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt; &amp;gt; &amp;gt;&amp;gt;
&amp;gt; &amp;gt;&amp;gt; &amp;gt; &amp;gt;
&amp;gt; &amp;gt;&amp;gt;

?????? flink on yarn????????

回复