????????
????????1.10??????????????
------------------ ???????? ------------------
??????:
"user-zh"
<car...@gmail.com>;
????????: 2020??8??6??(??????) ????4:01
??????: "user-zh"<user-zh@flink.apache.org>;
????: Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ??????
????????????
@??????
??????????????????????RocksDB????checkpoint????1.8.2??????1.11.1????????????????????????????????1.11.1??????????????????????????
@op
????????????????????FsStateBackend????????????Flink????????????????????????????
??????????????????????????????????????????????????????????????????????????????????????bug????????
Best Regards,
Yu
On Thu, 6 Aug 2020 at 13:52, Congxian Qiu <qcx978132...@gmail.com> wrote:
> Hi
>
??????????????????????????????????????????????????????????????????????????????????
???? ??????????????
>
> Best,
> Congxian
>
>
> op <520075...@qq.com> ??2020??8??6?????? ????10:36??????
>
> > ???? ?? ????????????????????
> > ?????????? RocksDB StateBackend
> >
> >
> > ------------------ ???????? ------------------
> > *??????:* "user-zh" <qcx978132...@gmail.com>;
> > *????????:* 2020??8??5??(??????) ????5:43
> > *??????:* "user-zh"<user-zh@flink.apache.org>;
> > *????:* Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ??????
????????????
> >
> > Hi
> > RocksDB StateBackend ???????? flink-conf
????????????????????[1].
> >
> >
??????????????????????????????????????????????????????????????????
flink-conf?????? checkpoint UI ????????????
> HDFS
> > ?? checkpoint ??????????
> >
> > [1]
> >
> >
>
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E8%AE%BE%E7%BD%AE-state-backend
> >
> > Best,
> > Congxian
> >
> >
> > op <520075...@qq.com> ??2020??8??5?????? ????4:03??????
> >
> > > ??????ttl??????
> > > val settings =
> > EnvironmentSettings.newInstance().inStreamingMode().build()
> > > val tableEnv = StreamTableEnvironment.create(bsEnv, settings)
> > > val tConfig = tableEnv.getConfig
> > > tConfig.setIdleStateRetentionTime(Time.minutes(1440),
> Time.minutes(1450))
> > >
> > >
> > > &nbsp; &nbsp; 1)????????3??????????????????
> > > &nbsp; &nbsp; 2)????????????RocksDB????
> > > ????
> > > ------------------&nbsp;????????&nbsp;------------------
> > > ??????:
> >
>
"user-zh"
> >
>
<
> > > qcx978132...@gmail.com&gt;;
> > > ????????:&nbsp;2020??8??5??(??????) ????3:30
> > > ??????:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
> > >
> > > ????:&nbsp;Re: flink1.10.1/1.11.1 ????sql ????group ??
???????? ?????? ????????????
> > >
> > >
> > >
> > > Hi op
> > > &nbsp;&nbsp; ??????????????????????????????
> > > &nbsp;&nbsp; 1?????????????????? checkpoint size
??????????????????????????????????????????????????????
> > > &nbsp;&nbsp; 2???????????? RocksDBStateBackend
????????????????????????????
> > >
> > > &nbsp;&nbsp; ???????? TTL ??????????????????????????
> > >
> > > ??????????????checkpoint ???? state ???????????????? checkpoint
?????????????????? state ??????????
> > > Best,
> > > Congxian
> > >
> > >
> > > op <520075...@qq.com&gt; ??2020??8??5?????? ????2:46??????
> > >
> > > &gt; &amp;nbsp; &amp;nbsp;
> > > &gt;
> > >
> >
>
????????????????FsStateBackend&amp;nbsp;??????????????5????????????????????checkpoint??????????????300ms????????????????????????????????????
> > > &gt; &amp;nbsp;
> > >
&amp;nbsp;??????????????????????1440minute??????????????????????????????????????????????????????5????
> > > &gt; &amp;nbsp; &amp;nbsp;????????checkpoint shared
????????????????????????????group
> > > &gt;
by??key??????????????????????????????????????????????????????????????
> > > &gt; &amp;nbsp; &amp;nbsp;????5????????????????
> > > &gt;
> > > &gt;
> > > &gt;
> > > &gt;
> > > &gt; ------------------ ???????? ------------------
> > > &gt; ??????:
> > >
> >
>
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > > "user-zh"
> > >
> >
>
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > > <
> > > &gt; qcx978132...@gmail.com&amp;gt;;
> > > &gt; ????????:&amp;nbsp;2020??8??3??(??????) ????5:50
> > > &gt;
??????:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> > > &gt;
> > > &gt; ????:&amp;nbsp;Re: flink1.10.1/1.11.1 ????sql
????group ?? ???????? ??????
> ????????????
> > > &gt;
> > > &gt;
> > > &gt;
> > > &gt; Hi
> > > &gt; &amp;nbsp;&amp;nbsp; ?????? checkpoint ??
interval ????????????????????????????
> shared
> > > &gt; ??????????????????????????????????????????
> > > &gt; Checkpointed Data Size ????????????[1]????????????
checkpoint ????????????????????
> > > checkpoint
> > > &gt; ????????????????????????????????????
> > > &gt;
> > > &gt; [1]
> > > &gt;
> > > &gt;
> > >
> >
>
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E5%A2%9E%E9%87%8F%E5%BF%AB%E7%85%A7
> > > &gt
> > > <
> >
>
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E5%A2%9E%E9%87%8F%E5%BF%AB%E7%85%A7&gt
> > >;
> > > Best,
> > > &gt; Congxian
> > > &gt;
> > > &gt;
> > > &gt; op <520075...@qq.com&amp;gt; ??2020??8??3??????
????2:18??????
> > > &gt;
> > > &gt; &amp;gt; &amp;amp;nbsp; &amp;amp;nbsp;
> > > &gt; &amp;gt;
> > >
????????????????????????????????????????????1.11.0????????hdfs????checkpoint??checkpoint????3??????
> > > &gt; &amp;gt; ?????????? ????day ?? id ????groupby
> > > &gt; &amp;gt;
????????????????????????????7????????????????????????????????????????????watermark??????????????
> > > &gt; &amp;gt;
tConfig.setIdleStateRetentionTime(Time.minutes(1440),
> > > &gt; &amp;gt; Time.minutes(1440+10))
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > >
------------------&amp;amp;nbsp;????????&amp;amp;nbsp;------------------
> > > &gt; &amp;gt; ??????:
> > > &gt;
> > >
> >
>
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> > > &gt; &amp;nbsp; "user-zh"
> > > &gt;
> > >
> >
>
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> > > &gt; &amp;nbsp; <
> > > &gt; &amp;gt; 384939...@qq.com&amp;amp;gt;;
> > > &gt; &amp;gt;
????????:&amp;amp;nbsp;2020??8??3??(??????) ????1:50
> > > &gt; &amp;gt;
??????:&amp;amp;nbsp;"user-zh"<user-zh@flink.apache.org
> > > &amp;amp;gt;;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; ????:&amp;amp;nbsp;Re:
flink1.10.1/1.11.1 ????sql ????group ??
> > ????????
> > > ?????? ????????????
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; hi????????
> > > &gt; &amp;gt; ??????????????????????????????????
> > > &gt; &amp;gt;
1????????????????3000????????????????????????????????????????????????
> > > &gt; &amp;gt; 2??checkpoint??interval????????5??
> > > &gt; &amp;gt; 3??????????????????????????????
> > > &gt; &amp;gt; 4??????????????1??????on-yarn????
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; ????????????????????
> > > &gt; &amp;gt; <
> > >
http://apache-flink.147419.n8.nabble.com/file/t793/6.png&amp;amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; 18??????????????
> > > &gt; &amp;gt; <
> > >
http://apache-flink.147419.n8.nabble.com/file/t793/9.png&amp;amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; checkpoints??????
> > > &gt; &amp;gt; <
> > >
http://apache-flink.147419.n8.nabble.com/file/t793/conf.png&amp;amp;gt
> ;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; hdfs??????????
> > > &gt; &amp;gt; <
> > >
http://apache-flink.147419.n8.nabble.com/file/t793/hdfs.png&amp;amp;gt
> ;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; ??????????????????
> > > &gt; &amp;gt; <
> > > &gt;
> > >
> >
>
http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png&amp;amp;gt
> > > &gt
> > > <
> >
>
http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png&amp;amp;gt&gt
> > >;
> > > ;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; Congxian Qiu wrote
> > > &gt; &amp;gt; &amp;amp;gt;
Hi&amp;amp;nbsp;&amp;amp;nbsp; ??????
> > > &gt; &amp;gt;
> > >
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> > > ???????????????? checkpoint
> > > &gt; ???????????????????? checkpoint
> > > &gt; &amp;gt; size ??????????????????????????????????????
> > > &gt; &amp;gt; &amp;amp;gt; checkpoint ????????????
hdfs ?? ls ???? checkpoint
> > ????????????
> > > &gt; &amp;gt;
> > >
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> > > &gt;
??????????????????????????????????????????????????????state
??????????????????????????
> > > &gt; &amp;gt; &amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt; Best,
> > > &gt; &amp;gt; &amp;amp;gt; Congxian
> > > &gt; &amp;gt; &amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt; ?????? <
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt; 384939718@
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
??2020??7??30?????? ????10:43??????
> > > &gt; &amp;gt; &amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; ??????
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > >
flink1.11.1??????????????????????????backend????????????20??????????
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
??????????????????????????????????????????????????????????????
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
StateBackend backend =new
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt;
> > > &gt;
> > >
> >
>
RocksDBStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
StateBackend backend =new
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt;
> > > &gt;
> > >
> >
>
FsStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > ????????????????RocksDBStateBackend??????????????????????????????
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
RocksDBStateBackend??
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&amp;amp;amp;lt;
> > > &gt; &amp;gt;
> > >
> >
>
http://apache-flink.147419.n8.nabble.com/file/t793/444.png&amp;amp;amp;gt
> > > &gt
> > > <
> >
>
http://apache-flink.147419.n8.nabble.com/file/t793/444.png&amp;amp;amp;gt&gt
> > >;
> > > ;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
FsStateBackend??
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&amp;amp;amp;lt;
> > > &gt; &amp;gt;
> > >
> >
>
http://apache-flink.147419.n8.nabble.com/file/t793/555.png&amp;amp;amp;gt
> > > &gt
> > > <
> >
>
http://apache-flink.147419.n8.nabble.com/file/t793/555.png&amp;amp;amp;gt&gt
> > >;
> > > ;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; --
> > > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; Sent from:
> > > http://apache-flink.147419.n8.nabble.com/
> > > &gt <http://apache-flink.147419.n8.nabble.com/&gt>;
&amp;gt <
> > > http://apache-flink.147419.n8.nabble.com/&amp;gt&gt;;
> > > &amp;amp;gt;&amp;amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt;
> > > &gt; &amp;gt; --
> > > &gt; &amp;gt; Sent from:
http://apache-flink.147419.n8.nabble.com/
> >
>
