hi 我使用社区默认的ES,主要配置如下:我使用flink 1.10.1,blink-planner。使用了ES6的sink。 我看了下文档,默认有个参数是 connector.failure-handler,是fail。我也能在TM日志里看到连接es失败的报错,但是整个任务checkpoint并没有失败。数据丢了。
WITH ( 'connector.type' = 'elasticsearch', 'connector.version' = '<ES_YUNTU.VERSION>', 'connector.hosts' = '<ES_YUNTU.SERVERS>', 'connector.index' = 'realtime_fund_product_all_sell', 'connector.document-type' = '_doc', 'update-mode' = 'upsert', 'connector.key-delimiter' = '$', 'connector.key-null-literal' = 'n/a', 'connector.bulk-flush.interval' = '1000', 'format.type' = 'json' ) 在 2020-07-10 11:00:53,"Congxian Qiu" <[email protected]> 写道: >Hi > >你 ES Sink 是自己写的,还是用的社区的呢?社区的使用了哪个版本,以及配置是啥样的呢 > >Best, >Congxian > > >sunfulin <[email protected]> 于2020年7月10日周五 上午10:51写道: > >> hi, >> >> 我们现在使用flink消费kafka数据写到es,今天发现在默认设置下,es服务挂掉时,这段时间写入es失败,但是没有积压,而是数据丢失了。这个应该不符合预期。想问下可能是啥原因造成的。
