?????? flink 1.10????????

Mon, 27 Apr 2020 18:33:11 -0700 

hi Xintong
    
????????????????flink1.10??????????????????-Xmx,-Xms,-XX:MaxDirectMomerySize,-XX:MaxMetaspaceSize????????????????????????????????????????????????managed
 memory????????managed memory??????????jvm????????????metaspace??????managed 
memory????????????????????????????????????jvm????????




------------------ ???????? ------------------
??????: "Xintong Song"<[email protected]&gt;; 
????????: 2020??4??27??(??????) ????6:56
??????: "user-zh"<[email protected]&gt;; 
????: Re: flink 1.10????????



&nbsp;Framework&nbsp;Off-heap&nbsp;??&nbsp;Task&nbsp;Off-Heap&nbsp;??????????????????Network
????????????????????????????????????????????????????????????????&nbsp;buffer&nbsp;pool??????????????????????????????????????

Thank&nbsp;you~

Xintong&nbsp;Song



On&nbsp;Mon,&nbsp;Apr&nbsp;27,&nbsp;2020&nbsp;at&nbsp;6:14&nbsp;PM&nbsp;??????(Jiacheng&nbsp;Jiang)&nbsp;<[email protected]&gt;
wrote:

&gt;&nbsp;Thank&amp;nbsp;you&amp;nbsp;Xintong.??????????????????????
&gt;&nbsp;-XX:MaxDirectMemorySizeFramework&nbsp;+&nbsp;Task&nbsp;Off-Heap&nbsp;+&nbsp;Network&nbsp;Memory
&gt;&nbsp;MaxDirectMemorySize=Framework&amp;nbsp;Off-Heap&amp;nbsp;+&nbsp;Task&nbsp;Off-Heap&nbsp;+&nbsp;Network
&gt;&nbsp;Memory??????MaxDirectMemorySize=10??????10=1+1+8??10=1+8+1,??2??????????????????????????????????3??????????????????????????????????task
&gt;&nbsp;off-heap????????????????job????????????????
&gt;
&gt;
&gt;
&gt;&nbsp;------------------&amp;nbsp;????????&amp;nbsp;------------------
&gt;&nbsp;??????:&nbsp;&quot;Xintong&nbsp;Song&quot;<[email protected]&amp;gt;;
&gt;&nbsp;????????:&nbsp;2020??4??27??(??????)&nbsp;????12:06
&gt;&nbsp;??????:&nbsp;&quot;user-zh&quot;<[email protected]&amp;gt;;
&gt;&nbsp;????:&nbsp;Re:&nbsp;flink&nbsp;1.10????????
&gt;
&gt;
&gt;
&gt;&nbsp;??????
&gt;
&gt;
&gt;&nbsp;Flink&amp;nbsp;1.10&amp;nbsp;????????????????????????????????????????????????????????????????????????????????????????????????????&amp;nbsp;TM&amp;nbsp;????&amp;nbsp;heap,
&gt;
&gt;&nbsp;direct,&amp;nbsp;native&amp;nbsp;??????????????????????????&amp;nbsp;300mb????????????????????????&amp;nbsp;heap&amp;nbsp;????????100mb??????&amp;nbsp;direct&amp;nbsp;??
&gt;
&gt;&nbsp;native&amp;nbsp;????&amp;nbsp;200mb??????????direct/native&amp;nbsp;????????????&amp;nbsp;200/0,&amp;nbsp;100/100,&amp;nbsp;0/200??????????????????&amp;nbsp;200
&gt;
&gt;&nbsp;??????????????????????????????????????&amp;nbsp;direct&amp;nbsp;????&amp;nbsp;native&amp;nbsp;??????????????&amp;nbsp;Flink&amp;nbsp;1.10&amp;nbsp;??????&amp;nbsp;direct/native
&gt;&nbsp;??????????????????????????????????????????????????????????????????????????????????????????????????????????????&amp;nbsp;Flink
&gt;&nbsp;????????????????????????????????????????????[1]??
&gt;
&gt;&nbsp;????????????????&amp;nbsp;direct&amp;nbsp;????????????????????????????????????????????????????
&gt;&nbsp;??taskmanager.memory.task.off-heap.size??&amp;nbsp;??????[2]??
&gt;
&gt;
&gt;&nbsp;??????????Flink&amp;nbsp;??????&amp;nbsp;TM&amp;nbsp;????????&amp;nbsp;slot&amp;nbsp;??????????????????????????&amp;nbsp;JVM&amp;nbsp;??????????????????????????????????????????????Flink
&gt;
&gt;&nbsp;??????????????managed&amp;nbsp;memory??[3]&amp;nbsp;??????????????????????????&amp;nbsp;Flink&amp;nbsp;????????????????????????????????????&amp;nbsp;JVM
&gt;
&gt;&nbsp;??????????????????????????????????&amp;nbsp;RocksDBStateBackend&amp;nbsp;??????&amp;nbsp;Batch&amp;nbsp;????????????????????&amp;nbsp;direct&amp;nbsp;oom&amp;nbsp;????????????
&gt;
&gt;&nbsp;Thank&amp;nbsp;you~
&gt;
&gt;&nbsp;Xintong&amp;nbsp;Song
&gt;
&gt;
&gt;&nbsp;[1]
&gt;
&gt;&nbsp;https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_detail.html
&gt;&nbsp;[2]
&gt;
&gt;&nbsp;https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory
&gt;&nbsp;[3]
&gt;
&gt;&nbsp;https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98
&gt;
&gt;
&gt;&nbsp;On&amp;nbsp;Mon,&amp;nbsp;Apr&amp;nbsp;27,&amp;nbsp;2020&amp;nbsp;at&amp;nbsp;10:31&amp;nbsp;AM&amp;nbsp;??????(Jiacheng&amp;nbsp;Jiang)&amp;nbsp;<
&gt;&nbsp;[email protected]&amp;gt;
&gt;&nbsp;wrote:
&gt;
&gt;&nbsp;&amp;gt;&amp;nbsp;hi
&gt;&nbsp;&amp;gt;
&gt;&nbsp;&amp;gt;
&gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;nbsp;&amp;nbsp;&amp;amp;nbsp;??????????????????standalone
&gt;
&gt;&nbsp;&amp;gt;&amp;nbsp;flink????????????????job??tm??????????8g????????????flink1.10??????????taskmanager.memory.flink.size??10g??????????????????????????job??????????????????????job????????????????java.lang.OutOfMemoryError:
&gt;&nbsp;&amp;gt;&amp;nbsp;Direct&amp;nbsp;buffer&amp;nbsp;memory??????1??job??????????????Direct
&gt;
&gt;&nbsp;&amp;gt;&amp;nbsp;Memory??????????????????????????flink1.10????????standalone&amp;nbsp;cluster????slot????????????????????
&gt;
&gt;&nbsp;&amp;gt;&amp;nbsp;??????????slot????????????????????A&amp;nbsp;TaskManager&amp;nbsp;with&amp;nbsp;three&amp;nbsp;slots,&amp;nbsp;for&amp;nbsp;example,&amp;nbsp;will
&gt;
&gt;&nbsp;&amp;gt;&amp;nbsp;dedicate&amp;nbsp;1/3&amp;nbsp;of&amp;nbsp;its&amp;nbsp;managed&amp;nbsp;memory&amp;nbsp;to&amp;nbsp;each&amp;nbsp;slot.&amp;amp;nbsp;??????its&amp;nbsp;managed
&gt;&nbsp;&amp;gt;&amp;nbsp;memory??????taskmanager.memory.managed.size??????????????????
&gt;&nbsp;&amp;gt;
&gt;&nbsp;&amp;gt;
&gt;&nbsp;&amp;gt;&amp;nbsp;best&amp;amp;nbsp;
&gt;&nbsp;&amp;gt;&amp;nbsp;Jungle

回复