Re: Re: 【Flink在sink端的Exactly once语义】

Sun, 28 Jun 2020 00:12:45 -0700 

Hi,

补充Benchao的观点：
- 除了kafka以外，还有StreamingFileSink也是exactly-once不多不少的。
- 对于Mysql、ES，这种支持主键更新的，在upsert语义下(比如一个count(*) from t group
by)，数据是最终一致的。所以我理解数据也是不多不少的exactly once语义。

Best,
Jingsong Lee

On Mon, Jun 22, 2020 at 11:46 AM 程龙 <[email protected]> wrote:

> 需要自己实现比如幂等操作 比如通过表示为操作
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-06-22 10:04:43，"Benchao Li" <[email protected]> 写道：
> >看起来现在只有Kafka实现了TwoPhaseCommitSinkFunction，所以目前应该也只有Kafka支持exactly once。
> >
> >不过像Mysql、ES这种，可以根据主键来更新的，只要能做到at least once应该就可以了。
> >
> >忝忝向仧 <[email protected]> 于2020年6月21日周日 下午11:27写道：
> >
> >> Hi,all:
> >>
> >>
> >> Flink连接器这块，如果是sink到mysql,ES等，有对应的实现exactly once语义么?
> >> 比如kafka的连接有sink的exactly once语义,sink时候指定即可.
> >> 那么,如果是mysql后者其他的有么?
> >> 谢谢.
> >> return new FlinkKafkaProducer011<&gt;(
> >>         "topic",
> >>         new KeyedSerializationSchemaWrapper<&gt;(new
> SimpleStringSchema()),
> >>         producerProperties,
> >>         FlinkKafkaProducer011.Semantic.EXACTLY_ONCE);
> >
> >
> >
> >--
> >
> >Best,
> >Benchao Li
>


-- 
Best, Jingsong Lee

回复