1、首先对flink纳入阿里麾下表示很兴奋，针对以下问题，根据我的一些经验，抛砖引玉：
hive太重要了，稳定，夜间跑任务，可以满足。
- *各位在使用哪个版本的Hive？有计划升级Hive吗？*// cdh5版本 无计划升级
-
*各位计划切换Hive引擎吗？有时间点吗？当Flink具备什么功能以后你才会考虑使用Flink读写Hive？*//尝试spark引擎跑夜间任务，不稳定。对于性能，不是特别追求，稳定了，就会尝试flink
on hive
-
异步IO不稳定 private val DEFAULT_TIME_OUT = 300sjava.lang.Exception: An async
function call terminated with an exception. Failing the AsyncWaitOperator.
at
org.apache.flink.streaming.api.operators.async.Emitter.output(Emitter.java:137)
at
flink sink es exception，也暂时没有思路。2019-02-23 19:46:34.460 +0800 [Source:
order_label_map -> Flat Map -> Map (1/1)] WARN
[com.imdada.parse.OrderLabelParse] [AbstractParseModel.scala:20] - fail parse
json
阿里大神，这问题无思路了。偶先。暂时不清楚会不会丢数据。从falcon对es的监控来看，es正常。2019-02-23 19:46:30.965 +0800
[Source: jd_mall_order -> Flat Map -> (Sink: Unnamed, Sink: Unnamed) (1/1)]
WARN [com.imdada.parse.PublishTimeParse] [AbstractParseModel.scala:20] - fail
parse json
很感谢，目前我们也是这种思路。
可惜还暂时未解决。
-- Original --
From: "ForwardXu";
Date: Wed, Feb 20, 2019 03:23 PM
To: "user-zh";
Subject: 回复：kafka consumer exception
董鹏，你好：
你这个问题可能多半是你在kafka
consumer配置中配置了client-id，然后flink多线程执行的时候用的是一样client-id向kaf
flink大神，你们好。flink sink kafka
遇到这个异常，不影响job运行，不影响结果，偶尔抛出。向你们请教一下，希望获取些思路。2019-02-20 10:08:46.889 +0800
[Source: rn -> Flat Map -> async wait operator -> async wait operator -> Sink:
Unnamed (17/20)] ERROR [org.apache.flink.streaming.runtime.tasks.StreamTask]
[StreamTask.java:481] - Error during
flink大神你们好，在使用flink on kafka(1.0版本) 遇到如下异常：
不影响job，不影响结果，对于这个异常偶尔打出，你们是否有遇到这个问题呢？
[org.apache.kafka.common.utils.AppInfoParser] [AppInfoParser.java:60] - Error
registering AppInfo mbean
javax.management.InstanceAlreadyExistsException:
kafka.consumer:type=app-info,id=consumer-31
at
找到问题了：我有四条流并行写es，冲突导致。 只是异常抛的没搞明白
-- Original --
From: "董鹏";
Date: Tue, Feb 19, 2019 11:16 AM
To: "user-zh";
Subject: 完整的异常信息
2019-02-19 10:39:51.845 +0800 [Source: order -> Flat Map -> Map -> Sink:
Unnamed (1/1)] WARN [c
stTransportException:
[basedata03][10.10.2.15:9300][indices:data/write/bulk]at
org.elasticsearch.transport.TransportService.sendRequestInternal(TransportService.java:531)
at
org.elasticsearch.transport.TransportService.sendRequest(TransportService.java:465)
at
org.elasticsearch.action.Tran
es 5.x
flink bulk sink
现象：运行几秒钟后抛异常
es数据可以正确插入
这个异常导致cpu上升
Caused by: org.elasticsearch.transport.SendRequestTransportException:
[basedata03][10.10.2.15:9300][indices:data/write/bulk]
at
org.elasticsearch.transport.TransportService.sendRequestInternal(TransportService.java:531)
at
10 matches
Mail list logo
