hi Xintong??java??????????native memory????????????api????
------------------ ???????? ------------------ ??????: "Xintong Song"<[email protected]>; ????????: 2020??4??28??(??????) ????11:15 ??????: "user-zh"<[email protected]>; ????: Re: flink 1.10???????? Managed ?????? native memory???????? JVM ?????????????????????? JVM ??????????????????????????????????????????????????[1]?? Thank you~ Xintong Song [1] http://apache-flink.147419.n8.nabble.com/Flink-tt1869.html <http://apache-flink.147419.n8.nabble.com/Flink-tt1869.html#a1872> On Tue, Apr 28, 2020 at 9:32 AM ??????(Jiacheng Jiang) <[email protected]> wrote: > hi&nbsp;Xintong > &nbsp; &nbsp; > ????????????????flink1.10??????????????????-Xmx,-Xms,-XX:MaxDirectMomerySize,-XX:MaxMetaspaceSize????????????????????????????????????????????????managed > memory????????managed memory??????????jvm????????????metaspace??????managed > memory????????????????????????????????????jvm???????? > > > > > ------------------&nbsp;????????&nbsp;------------------ > ??????: "Xintong Song"<[email protected]&gt;; > ????????: 2020??4??27??(??????) ????6:56 > ??????: "user-zh"<[email protected]&gt;; > ????: Re: flink 1.10???????? > > > > > &nbsp;Framework&nbsp;Off-heap&nbsp;??&nbsp;Task&nbsp;Off-Heap&nbsp;??????????????????Network > ????????????????????????????????????????????????????????????????&nbsp;buffer&nbsp;pool?????????????????????????????????????? > > Thank&nbsp;you~ > > Xintong&nbsp;Song > > > > > On&nbsp;Mon,&nbsp;Apr&nbsp;27,&nbsp;2020&nbsp;at&nbsp;6:14&nbsp;PM&nbsp;??????(Jiacheng&nbsp;Jiang)&nbsp;< > [email protected]&gt; > wrote: > > &gt;&nbsp;Thank&amp;nbsp;you&amp;nbsp;Xintong.?????????????????????? > > &gt;&nbsp;-XX:MaxDirectMemorySizeFramework&nbsp;+&nbsp;Task&nbsp;Off-Heap&nbsp;+&nbsp;Network&nbsp;Memory > > &gt;&nbsp;MaxDirectMemorySize=Framework&amp;nbsp;Off-Heap&amp;nbsp;+&nbsp;Task&nbsp;Off-Heap&nbsp;+&nbsp;Network > > &gt;&nbsp;Memory??????MaxDirectMemorySize=10??????10=1+1+8??10=1+8+1,??2??????????????????????????????????3??????????????????????????????????task > &gt;&nbsp;off-heap????????????????job???????????????? > &gt; > &gt; > &gt; > &gt;&nbsp;------------------&amp;nbsp;????????&amp;nbsp;------------------ > &gt;&nbsp;??????:&nbsp;&quot;Xintong&nbsp;Song&quot;<[email protected] > &amp;gt;; > &gt;&nbsp;????????:&nbsp;2020??4??27??(??????)&nbsp;????12:06 > &gt;&nbsp;??????:&nbsp;&quot;user-zh&quot;<[email protected]&amp;gt;; > &gt;&nbsp;????:&nbsp;Re:&nbsp;flink&nbsp;1.10???????? > &gt; > &gt; > &gt; > &gt;&nbsp;?????? > &gt; > &gt; > > &gt;&nbsp;Flink&amp;nbsp;1.10&amp;nbsp;????????????????????????????????????????????????????????????????????????????????????????????????????&amp;nbsp;TM&amp;nbsp;????&amp;nbsp;heap, > &gt; > > &gt;&nbsp;direct,&amp;nbsp;native&amp;nbsp;??????????????????????????&amp;nbsp;300mb????????????????????????&amp;nbsp;heap&amp;nbsp;????????100mb??????&amp;nbsp;direct&amp;nbsp;?? > &gt; > > &gt;&nbsp;native&amp;nbsp;????&amp;nbsp;200mb??????????direct/native&amp;nbsp;????????????&amp;nbsp;200/0,&amp;nbsp;100/100,&amp;nbsp;0/200??????????????????&amp;nbsp;200 > &gt; > > &gt;&nbsp;??????????????????????????????????????&amp;nbsp;direct&amp;nbsp;????&amp;nbsp;native&amp;nbsp;??????????????&amp;nbsp;Flink&amp;nbsp;1.10&amp;nbsp;??????&amp;nbsp;direct/native > > &gt;&nbsp;??????????????????????????????????????????????????????????????????????????????????????????????????????????????&amp;nbsp;Flink > &gt;&nbsp;????????????????????????????????????????????[1]?? > &gt; > &gt;&nbsp;????????????????&amp;nbsp;direct&amp;nbsp;???????????????????????????????????????????????????? > &gt;&nbsp;??taskmanager.memory.task.off-heap.size??&amp;nbsp;??????[2]?? > &gt; > &gt; > > &gt;&nbsp;??????????Flink&amp;nbsp;??????&amp;nbsp;TM&amp;nbsp;????????&amp;nbsp;slot&amp;nbsp;??????????????????????????&amp;nbsp;JVM&amp;nbsp;??????????????????????????????????????????????Flink > &gt; > > &gt;&nbsp;??????????????managed&amp;nbsp;memory??[3]&amp;nbsp;??????????????????????????&amp;nbsp;Flink&amp;nbsp;????????????????????????????????????&amp;nbsp;JVM > &gt; > > &gt;&nbsp;??????????????????????????????????&amp;nbsp;RocksDBStateBackend&amp;nbsp;??????&amp;nbsp;Batch&amp;nbsp;????????????????????&amp;nbsp;direct&amp;nbsp;oom&amp;nbsp;???????????? > &gt; > &gt;&nbsp;Thank&amp;nbsp;you~ > &gt; > &gt;&nbsp;Xintong&amp;nbsp;Song > &gt; > &gt; > &gt;&nbsp;[1] > &gt; > &gt;&nbsp; > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_detail.html > &gt;&nbsp;[2] > &gt; > &gt;&nbsp; > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory > &gt;&nbsp;[3] > <https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_trouble.html#outofmemoryerror-direct-buffer-memory&gt;&nbsp;[3]> > &gt; > &gt;&nbsp; > https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98 > &gt > <https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_setup.html#%E6%89%98%E7%AE%A1%E5%86%85%E5%AD%98&gt> > ; > &gt; > > &gt;&nbsp;On&amp;nbsp;Mon,&amp;nbsp;Apr&amp;nbsp;27,&amp;nbsp;2020&amp;nbsp;at&amp;nbsp;10:31&amp;nbsp;AM&amp;nbsp;??????(Jiacheng&amp;nbsp;Jiang)&amp;nbsp;< > &gt;&nbsp;[email protected]&amp;gt; > &gt;&nbsp;wrote: > &gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;hi > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;&amp;amp;nbsp;&amp;nbsp;&amp;amp;nbsp;??????????????????standalone > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;flink????????????????job??tm??????????8g????????????flink1.10??????????taskmanager.memory.flink.size??10g??????????????????????????job??????????????????????job????????????????java.lang.OutOfMemoryError: > > &gt;&nbsp;&amp;gt;&amp;nbsp;Direct&amp;nbsp;buffer&amp;nbsp;memory??????1??job??????????????Direct > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;Memory??????????????????????????flink1.10????????standalone&amp;nbsp;cluster????slot???????????????????? > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;??????????slot????????????????????A&amp;nbsp;TaskManager&amp;nbsp;with&amp;nbsp;three&amp;nbsp;slots,&amp;nbsp;for&amp;nbsp;example,&amp;nbsp;will > &gt; > > &gt;&nbsp;&amp;gt;&amp;nbsp;dedicate&amp;nbsp;1/3&amp;nbsp;of&amp;nbsp;its&amp;nbsp;managed&amp;nbsp;memory&amp;nbsp;to&amp;nbsp;each&amp;nbsp;slot.&amp;amp;nbsp;??????its&amp;nbsp;managed > > &gt;&nbsp;&amp;gt;&amp;nbsp;memory??????taskmanager.memory.managed.size?????????????????? > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt; > &gt;&nbsp;&amp;gt;&amp;nbsp;best&amp;amp;nbsp; > &gt;&nbsp;&amp;gt;&amp;nbsp;Jungle
