Hi
1.
??????????????????minibatch????????????????????????FsStateBackend????????????????????????????????????????bug??????????????????
val config = tConfig.getConfiguration()
config.setString("table.exec.mini-batch.enabled", "true")
config.setString("table.exec.mini-batch.allow-latency", "3s")
config.setString("table.exec.mini-batch.size", "10")
2.????RocksDBStateBackend??????????????????????????????
------------------ ???????? ------------------
??????:
"user-zh"
<qcx978132...@gmail.com>;
????????: 2020??8??6??(??????) ????1:51
??????: "user-zh"<user-zh@flink.apache.org>;
????: Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ??????
????????????
Hi
??????????????????????????????????????????????????????????????????????????????????
???? ??????????????
Best,
Congxian
op <520075...@qq.com> ??2020??8??6?????? ????10:36??????
> ???? ?? ????????????????????
> ?????????? RocksDB StateBackend
>
>
> ------------------ ???????? ------------------
> *??????:* "user-zh" <qcx978132...@gmail.com>;
> *????????:* 2020??8??5??(??????) ????5:43
> *??????:* "user-zh"<user-zh@flink.apache.org>;
> *????:* Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ??????
????????????
>
> Hi
> RocksDB StateBackend ???????? flink-conf
????????????????????[1].
>
>
??????????????????????????????????????????????????????????????????
flink-conf?????? checkpoint UI ???????????? HDFS
> ?? checkpoint ??????????
>
> [1]
>
>
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E8%AE%BE%E7%BD%AE-state-backend
>
> Best,
> Congxian
>
>
> op <520075...@qq.com> ??2020??8??5?????? ????4:03??????
>
> > ??????ttl??????
> > val settings =
> EnvironmentSettings.newInstance().inStreamingMode().build()
> > val tableEnv = StreamTableEnvironment.create(bsEnv, settings)
> > val tConfig = tableEnv.getConfig
> > tConfig.setIdleStateRetentionTime(Time.minutes(1440),
Time.minutes(1450))
> >
> >
> > &nbsp; &nbsp; 1)????????3??????????????????
> > &nbsp; &nbsp; 2)????????????RocksDB????
> > ????
> > ------------------&nbsp;????????&nbsp;------------------
> > ??????:
>
>
"user-zh"
>
>
<
> > qcx978132...@gmail.com&gt;;
> > ????????:&nbsp;2020??8??5??(??????) ????3:30
> > ??????:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
> >
> > ????:&nbsp;Re: flink1.10.1/1.11.1 ????sql ????group ?? ????????
?????? ????????????
> >
> >
> >
> > Hi op
> > &nbsp;&nbsp; ??????????????????????????????
> > &nbsp;&nbsp; 1?????????????????? checkpoint size
??????????????????????????????????????????????????????
> > &nbsp;&nbsp; 2???????????? RocksDBStateBackend
????????????????????????????
> >
> > &nbsp;&nbsp; ???????? TTL ??????????????????????????
> >
> > ??????????????checkpoint ???? state ???????????????? checkpoint
?????????????????? state ??????????
> > Best,
> > Congxian
> >
> >
> > op <520075...@qq.com&gt; ??2020??8??5?????? ????2:46??????
> >
> > &gt; &amp;nbsp; &amp;nbsp;
> > &gt;
> >
>
????????????????FsStateBackend&amp;nbsp;??????????????5????????????????????checkpoint??????????????300ms????????????????????????????????????
> > &gt; &amp;nbsp;
> >
&amp;nbsp;??????????????????????1440minute??????????????????????????????????????????????????????5????
> > &gt; &amp;nbsp; &amp;nbsp;????????checkpoint shared
????????????????????????????group
> > &gt;
by??key??????????????????????????????????????????????????????????????
> > &gt; &amp;nbsp; &amp;nbsp;????5????????????????
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> > &gt; ------------------ ???????? ------------------
> > &gt; ??????:
> >
>
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > "user-zh"
> >
>
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > <
> > &gt; qcx978132...@gmail.com&amp;gt;;
> > &gt; ????????:&amp;nbsp;2020??8??3??(??????) ????5:50
> > &gt;
??????:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> > &gt;
> > &gt; ????:&amp;nbsp;Re: flink1.10.1/1.11.1 ????sql ????group
?? ???????? ?????? ????????????
> > &gt;
> > &gt;
> > &gt;
> > &gt; Hi
> > &gt; &amp;nbsp;&amp;nbsp; ?????? checkpoint ?? interval
???????????????????????????? shared
> > &gt; ??????????????????????????????????????????
> > &gt; Checkpointed Data Size ????????????[1]????????????
checkpoint ????????????????????
> > checkpoint
> > &gt; ????????????????????????????????????
> > &gt;
> > &gt; [1]
> > &gt;
> > &gt;
> >
>
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E5%A2%9E%E9%87%8F%E5%BF%AB%E7%85%A7
> > &gt
> > <
>
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E5%A2%9E%E9%87%8F%E5%BF%AB%E7%85%A7&gt
> >;
> > Best,
> > &gt; Congxian
> > &gt;
> > &gt;
> > &gt; op <520075...@qq.com&amp;gt; ??2020??8??3??????
????2:18??????
> > &gt;
> > &gt; &amp;gt; &amp;amp;nbsp; &amp;amp;nbsp;
> > &gt; &amp;gt;
> >
????????????????????????????????????????????1.11.0????????hdfs????checkpoint??checkpoint????3??????
> > &gt; &amp;gt; ?????????? ????day ?? id ????groupby
> > &gt; &amp;gt;
????????????????????????????7????????????????????????????????????????????watermark??????????????
> > &gt; &amp;gt;
tConfig.setIdleStateRetentionTime(Time.minutes(1440),
> > &gt; &amp;gt; Time.minutes(1440+10))
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> >
------------------&amp;amp;nbsp;????????&amp;amp;nbsp;------------------
> > &gt; &amp;gt; ??????:
> > &gt;
> >
>
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> > &gt; &amp;nbsp; "user-zh"
> > &gt;
> >
>
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> > &gt; &amp;nbsp; <
> > &gt; &amp;gt; 384939...@qq.com&amp;amp;gt;;
> > &gt; &amp;gt; ????????:&amp;amp;nbsp;2020??8??3??(??????)
????1:50
> > &gt; &amp;gt;
??????:&amp;amp;nbsp;"user-zh"<user-zh@flink.apache.org
> > &amp;amp;gt;;
> > &gt; &amp;gt;
> > &gt; &amp;gt; ????:&amp;amp;nbsp;Re: flink1.10.1/1.11.1
????sql ????group ??
> ????????
> > ?????? ????????????
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt; hi????????
> > &gt; &amp;gt; ??????????????????????????????????
> > &gt; &amp;gt;
1????????????????3000????????????????????????????????????????????????
> > &gt; &amp;gt; 2??checkpoint??interval????????5??
> > &gt; &amp;gt; 3??????????????????????????????
> > &gt; &amp;gt; 4??????????????1??????on-yarn????
> > &gt; &amp;gt;
> > &gt; &amp;gt; ????????????????????
> > &gt; &amp;gt; <
> >
http://apache-flink.147419.n8.nabble.com/file/t793/6.png&amp;amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt; 18??????????????
> > &gt; &amp;gt; <
> >
http://apache-flink.147419.n8.nabble.com/file/t793/9.png&amp;amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt; checkpoints??????
> > &gt; &amp;gt; <
> >
http://apache-flink.147419.n8.nabble.com/file/t793/conf.png&amp;amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt; hdfs??????????
> > &gt; &amp;gt; <
> >
http://apache-flink.147419.n8.nabble.com/file/t793/hdfs.png&amp;amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt; ??????????????????
> > &gt; &amp;gt; <
> > &gt;
> >
>
http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png&amp;amp;gt
> > &gt
> > <
>
http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png&amp;amp;gt&gt
> >;
> > ;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt; Congxian Qiu wrote
> > &gt; &amp;gt; &amp;amp;gt;
Hi&amp;amp;nbsp;&amp;amp;nbsp; ??????
> > &gt; &amp;gt;
> >
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> > ???????????????? checkpoint
> > &gt; ???????????????????? checkpoint
> > &gt; &amp;gt; size ??????????????????????????????????????
> > &gt; &amp;gt; &amp;amp;gt; checkpoint ???????????? hdfs
?? ls ???? checkpoint
> ????????????
> > &gt; &amp;gt;
> >
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> > &gt; ??????????????????????????????????????????????????????state
??????????????????????????
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; Best,
> > &gt; &amp;gt; &amp;amp;gt; Congxian
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; ?????? <
> > &gt; &amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; 384939718@
> > &gt; &amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
??2020??7??30?????? ????10:43??????
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; ??????
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > flink1.11.1??????????????????????????backend????????????20??????????
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
??????????????????????????????????????????????????????????????
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; StateBackend
backend =new
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
>
RocksDBStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; StateBackend
backend =new
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
>
FsStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > ????????????????RocksDBStateBackend??????????????????????????????
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
RocksDBStateBackend??
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&amp;amp;amp;lt;
> > &gt; &amp;gt;
> >
>
http://apache-flink.147419.n8.nabble.com/file/t793/444.png&amp;amp;amp;gt
> > &gt
> > <
>
http://apache-flink.147419.n8.nabble.com/file/t793/444.png&amp;amp;amp;gt&gt
> >;
> > ;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
FsStateBackend??
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&amp;amp;amp;lt;
> > &gt; &amp;gt;
> >
>
http://apache-flink.147419.n8.nabble.com/file/t793/555.png&amp;amp;amp;gt
> > &gt
> > <
>
http://apache-flink.147419.n8.nabble.com/file/t793/555.png&amp;amp;amp;gt&gt
> >;
> > ;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; --
> > &gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; Sent from:
> > http://apache-flink.147419.n8.nabble.com/
> > &gt <http://apache-flink.147419.n8.nabble.com/&gt>;
&amp;gt <
> > http://apache-flink.147419.n8.nabble.com/&amp;gt&gt;;
> > &amp;amp;gt;&amp;amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt; --
> > &gt; &amp;gt; Sent from:
http://apache-flink.147419.n8.nabble.com/
>
