一般都会的
在 2020-06-22 10:52:17，"wangxiangyan" 写道：
>hi，大家的在线任务会在晚上重跑一次做校正吗？
Hi
??
Hi
oom
flinkOOM??flink
需要自己实现比如幂等操作 比如通过表示为操作
在 2020-06-22 10:04:43，"Benchao Li" 写道：
>看起来现在只有Kafka实现了TwoPhaseCommitSinkFunction，所以目前应该也只有Kafka支持exactly once。
>
>不过像Mysql、ES这种，可以根据主键来更新的，只要能做到at least once应该就可以了。
>
>忝忝向仧 <153488...@qq.com> 于2020年6月21日周日 下午11:27写道：
>
>> Hi,all:
>>
>>
>>
2020-06-22 10:16:34,379 INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph- Sink: Unnamed
(6/6) (5dd98ec92e0d5e53597cb7520643c7f5) switched from SCHEDULED to DEPLOYING.
2020-06-22 10:16:34,379 INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph- Deploying
不确定客户的某些组件在什么时候会出故障，线上无法干预调控，如果线上oom，如何保证客户方的应用运行呢？再次启动的话，kafka中堆积很多的数据，应用启动，页面无实时数据，想的是先处理实时数据，让当前应用继续运行，再另起一个任务设置从同一个消费者组的某个时刻启动，两个任务同时运行，这样的逻辑可行吗？
--Original--
From: "Yichao Yang"<1048262...@qq.com;
Date: Mon, Jun 22, 2020 10:59 AM
To: "user-zh"
Hi
??
Best,
Yichao Yang
----
??:"wangxiangyan"
Hi
??INFO??jobcheckpoint
Best,
Yichao Yang
----
??:"Tony"
你好。
我按着官方文档配置了flink的高可用（flink-conf.yaml）如下：
high-availability:zookeeper
high-availability.zookeeper.quorum:master:2181 ,slave1:2181,slave2:2181
high-availability.zookeeper.path.root:/flink
high-availability.cluster-id:/cluster_one
highavailability.storageDir:hdfs://master:9000/flink/ha
hi，大家的在线任务会在晚上重跑一次做校正吗？
看起来现在只有Kafka实现了TwoPhaseCommitSinkFunction，所以目前应该也只有Kafka支持exactly once。
不过像Mysql、ES这种，可以根据主键来更新的，只要能做到at least once应该就可以了。
忝忝向仧 <153488...@qq.com> 于2020年6月21日周日 下午11:27写道：
> Hi,all:
>
>
> Flink连接器这块，如果是sink到mysql,ES等，有对应的实现exactly once语义么?
> 比如kafka的连接有sink的exactly once语义,sink时候指定即可.
>
Hi,all:
Flink??sink??mysql,ESexactly once???
kafkasink??exactly once,sink.
,??mysql???
.
return new FlinkKafkaProducer011<(
"topic",
new KeyedSerializationSchemaWrapper<(new
12 matches
Mail list logo
