?????? FlinkKafkaConsumer????

Thu, 03 Sep 2020 19:25:29 -0700 

????????????????????????FlinkKafkaConsumer????????????KafkaConsumer??????????flink????kafka???????????????? 


------------------ ???????? ------------------
??????:                                                                         
                                               "user-zh"                        
                                                            
<[email protected]&gt;;
????????:&nbsp;2020??9??3??(??????) ????6:09
??????:&nbsp;"user-zh"<[email protected]&gt;;

????:&nbsp;Re: FlinkKafkaConsumer????



Hi op,

?? Flink ???? Kafka ?????????? ?? FlinkKafkaConsumer ???? Kafka ?????????? 
topic ?????? partition ?????????????????????????????? group id ?????????????? 
partition ?????? offset commit ?? Kafka???????????????????????????? 
KafkaConsumer ?????????????????? Kafka ????????????, ???? Kafka 
??????????????????

???????????????????????????? topic ?? group id ???? kafka?? 
?????????????????????????? group id commit offset ??kafka?? ?????? group offset 
?????????????????? ?????????????? commit ?? offset ??????????

&gt; ?? 2020??9??3????????3:03??op <[email protected]&gt; ??????
&gt; 
&gt; &amp;nbsp; &amp;nbsp; hi,&amp;nbsp; &amp;nbsp; 
????FlinkKafkaConsumer????????????????&amp;nbsp; &amp;nbsp; 
????????????????????????
&gt; //---------------------------
&gt; val bsEnv = StreamExecutionEnvironment.getExecutionEnvironment
&gt; Env.setRestartStrategy(RestartStrategies.noRestart())
&gt; val consumerProps = new Properties()
&gt; consumerProps.put("bootstrap.servers", brokers)
&gt; consumerProps.put("group.id", "test1234")
&gt; 
&gt; val consumer = new FlinkKafkaConsumer[String](topic,new 
KafkaStringSchema,consumerProps).setStartFromLatest()
&gt; Env.addSource(consumer).print()
&gt; 
Env.execute()//-----------------------------------??????????????????????????????????????????topic??group.id????????????????topic????????????????????????????????????????????????????????????kafka
 ??consumer 
group????????????????????????????????????????????????????????????????????????KafkaConsumer??????????????????????????topic????????????????????????????????????????????????????flink1.11flink-connector-kafka_2.11
 ????

回复