???? ?? ????????????????????
?????????? RocksDB StateBackend
------------------ ???????? ------------------
??????:
"user-zh"
<qcx978132...@gmail.com>;
????????: 2020??8??5??(??????) ????5:43
??????: "user-zh"<user-zh@flink.apache.org>;
????: Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ??????
????????????
Hi
RocksDB StateBackend ???????? flink-conf ????????????????????[1].
??????????????????????????????????????????????????????????????????
flink-conf?????? checkpoint UI ???????????? HDFS
?? checkpoint ??????????
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E8%AE%BE%E7%BD%AE-state-backend
Best,
Congxian
op <520075...@qq.com> ??2020??8??5?????? ????4:03??????
> ??????ttl??????
> val settings = EnvironmentSettings.newInstance().inStreamingMode().build()
> val tableEnv = StreamTableEnvironment.create(bsEnv, settings)
> val tConfig = tableEnv.getConfig
> tConfig.setIdleStateRetentionTime(Time.minutes(1440), Time.minutes(1450))
>
>
> &nbsp; &nbsp; 1)????????3??????????????????
> &nbsp; &nbsp; 2)????????????RocksDB????
> ????
> ------------------&nbsp;????????&nbsp;------------------
> ??????:
>
"user-zh"
>
<
> qcx978132...@gmail.com&gt;;
> ????????:&nbsp;2020??8??5??(??????) ????3:30
> ??????:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> ????:&nbsp;Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ??????
????????????
>
>
>
> Hi op
> &nbsp;&nbsp; ??????????????????????????????
> &nbsp;&nbsp; 1?????????????????? checkpoint size
??????????????????????????????????????????????????????
> &nbsp;&nbsp; 2???????????? RocksDBStateBackend
????????????????????????????
>
> &nbsp;&nbsp; ???????? TTL ??????????????????????????
>
> ??????????????checkpoint ???? state ???????????????? checkpoint
?????????????????? state ??????????
> Best,
> Congxian
>
>
> op <520075...@qq.com&gt; ??2020??8??5?????? ????2:46??????
>
> &gt; &amp;nbsp; &amp;nbsp;
> &gt;
>
????????????????FsStateBackend&amp;nbsp;??????????????5????????????????????checkpoint??????????????300ms????????????????????????????????????
> &gt; &amp;nbsp;
>
&amp;nbsp;??????????????????????1440minute??????????????????????????????????????????????????????5????
> &gt; &amp;nbsp; &amp;nbsp;????????checkpoint shared
????????????????????????????group
> &gt;
by??key??????????????????????????????????????????????????????????????
> &gt; &amp;nbsp; &amp;nbsp;????5????????????????
> &gt;
> &gt;
> &gt;
> &gt;
> &gt; ------------------ ???????? ------------------
> &gt; ??????:
>
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> "user-zh"
>
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> <
> &gt; qcx978132...@gmail.com&amp;gt;;
> &gt; ????????:&amp;nbsp;2020??8??3??(??????) ????5:50
> &gt;
??????:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> &gt;
> &gt; ????:&amp;nbsp;Re: flink1.10.1/1.11.1 ????sql ????group ??
???????? ?????? ????????????
> &gt;
> &gt;
> &gt;
> &gt; Hi
> &gt; &amp;nbsp;&amp;nbsp; ?????? checkpoint ?? interval
???????????????????????????? shared
> &gt; ??????????????????????????????????????????
> &gt; Checkpointed Data Size ????????????[1]???????????? checkpoint
????????????????????
> checkpoint
> &gt; ????????????????????????????????????
> &gt;
> &gt; [1]
> &gt;
> &gt;
>
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E5%A2%9E%E9%87%8F%E5%BF%AB%E7%85%A7
> &gt
>
<https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E5%A2%9E%E9%87%8F%E5%BF%AB%E7%85%A7&gt>;
> Best,
> &gt; Congxian
> &gt;
> &gt;
> &gt; op <520075...@qq.com&amp;gt; ??2020??8??3?????? ????2:18??????
> &gt;
> &gt; &amp;gt; &amp;amp;nbsp; &amp;amp;nbsp;
> &gt; &amp;gt;
>
????????????????????????????????????????????1.11.0????????hdfs????checkpoint??checkpoint????3??????
> &gt; &amp;gt; ?????????? ????day ?? id ????groupby
> &gt; &amp;gt;
????????????????????????????7????????????????????????????????????????????watermark??????????????
> &gt; &amp;gt; tConfig.setIdleStateRetentionTime(Time.minutes(1440),
> &gt; &amp;gt; Time.minutes(1440+10))
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
>
------------------&amp;amp;nbsp;????????&amp;amp;nbsp;------------------
> &gt; &amp;gt; ??????:
> &gt;
>
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; &amp;nbsp; "user-zh"
> &gt;
>
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; &amp;nbsp; <
> &gt; &amp;gt; 384939...@qq.com&amp;amp;gt;;
> &gt; &amp;gt; ????????:&amp;amp;nbsp;2020??8??3??(??????)
????1:50
> &gt; &amp;gt;
??????:&amp;amp;nbsp;"user-zh"<user-zh@flink.apache.org
> &amp;amp;gt;;
> &gt; &amp;gt;
> &gt; &amp;gt; ????:&amp;amp;nbsp;Re: flink1.10.1/1.11.1
????sql ????group ?? ????????
> ?????? ????????????
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; hi????????
> &gt; &amp;gt; ??????????????????????????????????
> &gt; &amp;gt;
1????????????????3000????????????????????????????????????????????????
> &gt; &amp;gt; 2??checkpoint??interval????????5??
> &gt; &amp;gt; 3??????????????????????????????
> &gt; &amp;gt; 4??????????????1??????on-yarn????
> &gt; &amp;gt;
> &gt; &amp;gt; ????????????????????
> &gt; &amp;gt; <
> http://apache-flink.147419.n8.nabble.com/file/t793/6.png&amp;amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; 18??????????????
> &gt; &amp;gt; <
> http://apache-flink.147419.n8.nabble.com/file/t793/9.png&amp;amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; checkpoints??????
> &gt; &amp;gt; <
> http://apache-flink.147419.n8.nabble.com/file/t793/conf.png&amp;amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; hdfs??????????
> &gt; &amp;gt; <
> http://apache-flink.147419.n8.nabble.com/file/t793/hdfs.png&amp;amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; ??????????????????
> &gt; &amp;gt; <
> &gt;
>
http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png&amp;amp;gt
> &gt
>
<http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png&amp;amp;gt&gt>;
> ;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; Congxian Qiu wrote
> &gt; &amp;gt; &amp;amp;gt;
Hi&amp;amp;nbsp;&amp;amp;nbsp; ??????
> &gt; &amp;gt;
>
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> ???????????????? checkpoint
> &gt; ???????????????????? checkpoint
> &gt; &amp;gt; size ??????????????????????????????????????
> &gt; &amp;gt; &amp;amp;gt; checkpoint ???????????? hdfs ?? ls
???? checkpoint ????????????
> &gt; &amp;gt;
>
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> &gt; ??????????????????????????????????????????????????????state
??????????????????????????
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; Best,
> &gt; &amp;gt; &amp;amp;gt; Congxian
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; ?????? <
> &gt; &amp;gt;
> &gt; &amp;gt; &amp;amp;gt; 384939718@
> &gt; &amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; ??2020??7??30??????
????10:43??????
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; ??????
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> flink1.11.1??????????????????????????backend????????????20??????????
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
??????????????????????????????????????????????????????????????
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; StateBackend
backend =new
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt;
> &gt;
>
RocksDBStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; StateBackend
backend =new
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt;
> &gt;
>
FsStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> ????????????????RocksDBStateBackend??????????????????????????????
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
RocksDBStateBackend??
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; &amp;amp;amp;lt;
> &gt; &amp;gt;
>
http://apache-flink.147419.n8.nabble.com/file/t793/444.png&amp;amp;amp;gt
> &gt
>
<http://apache-flink.147419.n8.nabble.com/file/t793/444.png&amp;amp;amp;gt&gt>;
> ;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; FsStateBackend??
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; &amp;amp;amp;lt;
> &gt; &amp;gt;
>
http://apache-flink.147419.n8.nabble.com/file/t793/555.png&amp;amp;amp;gt
> &gt
>
<http://apache-flink.147419.n8.nabble.com/file/t793/555.png&amp;amp;amp;gt&gt>;
> ;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; --
> &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; Sent from:
> http://apache-flink.147419.n8.nabble.com/
> &gt <http://apache-flink.147419.n8.nabble.com/&gt>; &amp;gt
<
> http://apache-flink.147419.n8.nabble.com/&amp;gt&gt;;
> &amp;amp;gt;&amp;amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; --
> &gt; &amp;gt; Sent from: http://apache-flink.147419.n8.nabble.com/
