?????? flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? ????????????

op Wed, 05 Aug 2020 01:04:39 -0700

??????ttl??????
val settings = EnvironmentSettings.newInstance().inStreamingMode().build()
val tableEnv = StreamTableEnvironment.create(bsEnv, settings)
val tConfig = tableEnv.getConfig
tConfig.setIdleStateRetentionTime(Time.minutes(1440), Time.minutes(1450))



&nbsp; &nbsp; 1)????????3??????????????????
&nbsp; &nbsp; 2)????????????RocksDB????
????
------------------&nbsp;????????&nbsp;------------------
??????:                                                                         
                                               "user-zh"                        
                                                            
<qcx978132...@gmail.com&gt;;
????????:&nbsp;2020??8??5??(??????) ????3:30
??????:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

????:&nbsp;Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? 
????????????



Hi op
&nbsp;&nbsp; ??????????????????????????????
&nbsp;&nbsp; 1?????????????????? checkpoint size 
??????????????????????????????????????????????????????
&nbsp;&nbsp; 2???????????? RocksDBStateBackend ????????????????????????????

&nbsp;&nbsp; ???????? TTL ??????????????????????????

??????????????checkpoint ???? state ???????????????? checkpoint 
?????????????????? state ??????????
Best,
Congxian


op <520075...@qq.com&gt; ??2020??8??5?????? ????2:46??????

&gt; &amp;nbsp; &amp;nbsp;
&gt; 
????????????????FsStateBackend&amp;nbsp;??????????????5????????????????????checkpoint??????????????300ms????????????????????????????????????
&gt; &amp;nbsp; 
&amp;nbsp;??????????????????????1440minute??????????????????????????????????????????????????????5????
&gt; &amp;nbsp; &amp;nbsp;????????checkpoint shared 
????????????????????????????group
&gt; by??key??????????????????????????????????????????????????????????????
&gt; &amp;nbsp; &amp;nbsp;????5????????????????
&gt;
&gt;
&gt;
&gt;
&gt; ------------------ ???????? ------------------
&gt; ??????:
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
 "user-zh"
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
 <
&gt; qcx978132...@gmail.com&amp;gt;;
&gt; ????????:&amp;nbsp;2020??8??3??(??????) ????5:50
&gt; ??????:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
&gt;
&gt; ????:&amp;nbsp;Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? 
????????????
&gt;
&gt;
&gt;
&gt; Hi
&gt; &amp;nbsp;&amp;nbsp; ?????? checkpoint ?? interval 
???????????????????????????? shared
&gt; ??????????????????????????????????????????
&gt; Checkpointed Data Size ????????????[1]???????????? checkpoint 
???????????????????? checkpoint
&gt; ????????????????????????????????????
&gt;
&gt; [1]
&gt;
&gt; 
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E5%A2%9E%E9%87%8F%E5%BF%AB%E7%85%A7
&gt; Best,
&gt; Congxian
&gt;
&gt;
&gt; op <520075...@qq.com&amp;gt; ??2020??8??3?????? ????2:18??????
&gt;
&gt; &amp;gt; &amp;amp;nbsp; &amp;amp;nbsp;
&gt; &amp;gt; 
????????????????????????????????????????????1.11.0????????hdfs????checkpoint??checkpoint????3??????
&gt; &amp;gt; ?????????? ????day ?? id ????groupby
&gt; &amp;gt; 
????????????????????????????7????????????????????????????????????????????watermark??????????????
&gt; &amp;gt; tConfig.setIdleStateRetentionTime(Time.minutes(1440),
&gt; &amp;gt; Time.minutes(1440+10))
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; 
------------------&amp;amp;nbsp;????????&amp;amp;nbsp;------------------
&gt; &amp;gt; ??????:
&gt; 
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
&gt; &amp;nbsp; "user-zh"
&gt; 
&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
&gt; &amp;nbsp; <
&gt; &amp;gt; 384939...@qq.com&amp;amp;gt;;
&gt; &amp;gt; ????????:&amp;amp;nbsp;2020??8??3??(??????) ????1:50
&gt; &amp;gt; 
??????:&amp;amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;amp;gt;;
&gt; &amp;gt;
&gt; &amp;gt; ????:&amp;amp;nbsp;Re: flink1.10.1/1.11.1 ????sql ????group ?? 
???????? ?????? ????????????
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; hi????????
&gt; &amp;gt; ??????????????????????????????????
&gt; &amp;gt; 
1????????????????3000????????????????????????????????????????????????
&gt; &amp;gt; 2??checkpoint??interval????????5??
&gt; &amp;gt; 3??????????????????????????????
&gt; &amp;gt; 4??????????????1??????on-yarn????
&gt; &amp;gt;
&gt; &amp;gt; ????????????????????
&gt; &amp;gt; 
<http://apache-flink.147419.n8.nabble.com/file/t793/6.png&amp;amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; 18??????????????
&gt; &amp;gt; 
<http://apache-flink.147419.n8.nabble.com/file/t793/9.png&amp;amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; checkpoints??????
&gt; &amp;gt; 
<http://apache-flink.147419.n8.nabble.com/file/t793/conf.png&amp;amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; hdfs??????????
&gt; &amp;gt; 
<http://apache-flink.147419.n8.nabble.com/file/t793/hdfs.png&amp;amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; ??????????????????
&gt; &amp;gt; <
&gt; 
http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png&amp;amp;gt
&gt; ;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; Congxian Qiu wrote
&gt; &amp;gt; &amp;amp;gt; Hi&amp;amp;nbsp;&amp;amp;nbsp; ??????
&gt; &amp;gt; 
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp; 
???????????????? checkpoint
&gt; ???????????????????? checkpoint
&gt; &amp;gt; size ??????????????????????????????????????
&gt; &amp;gt; &amp;amp;gt; checkpoint ???????????? hdfs ?? ls ???? checkpoint 
????????????
&gt; &amp;gt; 
&amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
&gt; ??????????????????????????????????????????????????????state 
??????????????????????????
&gt; &amp;gt; &amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt; Best,
&gt; &amp;gt; &amp;amp;gt; Congxian
&gt; &amp;gt; &amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt; ?????? <
&gt; &amp;gt;
&gt; &amp;gt; &amp;amp;gt; 384939718@
&gt; &amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; ??2020??7??30?????? ????10:43??????
&gt; &amp;gt; &amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; ??????
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; 
flink1.11.1??????????????????????????backend????????????20??????????
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; 
??????????????????????????????????????????????????????????????
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; StateBackend backend =new
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt;
&gt; 
RocksDBStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; StateBackend backend =new
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt;
&gt; 
FsStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; 
????????????????RocksDBStateBackend??????????????????????????????
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; RocksDBStateBackend??
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; &amp;amp;amp;lt;
&gt; &amp;gt; 
http://apache-flink.147419.n8.nabble.com/file/t793/444.png&amp;amp;amp;gt
&gt; ;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; FsStateBackend??
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; &amp;amp;amp;lt;
&gt; &amp;gt; 
http://apache-flink.147419.n8.nabble.com/file/t793/555.png&amp;amp;amp;gt
&gt; ;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; --
&gt; &amp;gt; &amp;amp;gt;&amp;amp;gt; Sent from: 
http://apache-flink.147419.n8.nabble.com/
&gt; &amp;gt <http://apache-flink.147419.n8.nabble.com/&amp;gt&gt;; 
&amp;amp;gt;&amp;amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; --
&gt; &amp;gt; Sent from: http://apache-flink.147419.n8.nabble.com/

?????? flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? ????????????

回复