Hi,all:
Flink??sink??mysql,ESexactly once???
kafkasink??exactly once,sink.
,??mysql???
.
return new FlinkKafkaProducer011<>(
"topic",
new KeyedSerializationSchemaWrapper<>(new SimpleStringSchem
看起来现在只有Kafka实现了TwoPhaseCommitSinkFunction，所以目前应该也只有Kafka支持exactly once。
不过像Mysql、ES这种，可以根据主键来更新的，只要能做到at least once应该就可以了。
忝忝向仧 <153488...@qq.com> 于2020年6月21日周日 下午11:27写道：
> Hi,all:
>
>
> Flink连接器这块，如果是sink到mysql,ES等，有对应的实现exactly once语义么?
> 比如kafka的连接有sink的exactly once语义,sink时候指定即可.
> 那么,如果是mys
hi，大家的在线任务会在晚上重跑一次做校正吗？
你好。
我按着官方文档配置了flink的高可用（flink-conf.yaml）如下：
high-availability:zookeeper
high-availability.zookeeper.quorum:master:2181 ,slave1:2181,slave2:2181
high-availability.zookeeper.path.root:/flink
high-availability.cluster-id:/cluster_one
highavailability.storageDir:hdfs://master:9000/flink/ha
我的flin
Hi
??INFO??jobcheckpoint
Best,
Yichao Yang
-- --
??: "Tony"
Hi
??
Best,
Yichao Yang
-- --
??: "wangxiangyan"
不确定客户的某些组件在什么时候会出故障，线上无法干预调控，如果线上oom，如何保证客户方的应用运行呢？再次启动的话，kafka中堆积很多的数据，应用启动，页面无实时数据，想的是先处理实时数据，让当前应用继续运行，再另起一个任务设置从同一个消费者组的某个时刻启动，两个任务同时运行，这样的逻辑可行吗？
-- Original --
From: "Yichao Yang"<1048262...@qq.com>;
Date: Mon, Jun 22, 2020 10:59 AM
To: "user-zh"
逻辑是可行的 通过传入参数控制即可
在 2020-06-22 11:06:13，"wangxiangyan" 写道：
>不确定客户的某些组件在什么时候会出故障，线上无法干预调控，如果线上oom，如何保证客户方的应用运行呢？再次启动的话，kafka中堆积很多的数据，应用启动，页面无实时数据，想的是先处理实时数据，让当前应用继续运行，再另起一个任务设置从同一个消费者组的某个时刻启动，两个任务同时运行，这样的逻辑可行吗？
>
>
>-- Original --
>From: "Yichao Y
2020-06-22 10:16:34,379 INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph- Sink: Unnamed
(6/6) (5dd98ec92e0d5e53597cb7520643c7f5) switched from SCHEDULED to DEPLOYING.
2020-06-22 10:16:34,379 INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph- Deploying Sink:
需要自己实现比如幂等操作 比如通过表示为操作
在 2020-06-22 10:04:43，"Benchao Li" 写道：
>看起来现在只有Kafka实现了TwoPhaseCommitSinkFunction，所以目前应该也只有Kafka支持exactly once。
>
>不过像Mysql、ES这种，可以根据主键来更新的，只要能做到at least once应该就可以了。
>
>忝忝向仧 <153488...@qq.com> 于2020年6月21日周日 下午11:27写道：
>
>> Hi,all:
>>
>>
>> Flink连接器这块，如果是sink
Hi
oom
flinkOOM??flink
flink???
Hi
??
1.consumergroupid??consumer??flink
一般都会的
在 2020-06-22 10:52:17，"wangxiangyan" 写道：
>hi，大家的在线任务会在晚上重跑一次做校正吗？
您好，jack：
Table API 不用 if/else 直接用类似逻辑即可：
val t1 = table.filter('x > 2).groupBy(..)
val t2 = table.filter('x <= 2).groupBy(..)
t1.insert_into("sink1)
t2.insert_into("sink2")
Best,
Jincheng
jack 于2020年6月19日周五 上午10:35写道：
>
> 测试使用如下结构：
> table= t_env.from_path("source")
>
> if table.filter("
重启了CDH6集群，还是报同样的错误，flink 故障恢复不成功，不敢上生产啊，哪位大佬帮忙看下啊
在 2020-06-22 13:21:01，"Zhou Zach" 写道：
用yarn application kill flink job把yarn的application杀掉后，
执行/opt/flink-1.10.0/bin/flink run -s
hdfs://nameservice1:8020/user/flink10/checkpoints/f1b6f5392cd5053db155e709ffe9f871/chk-15/_metadata
16 matches
Mail list logo
