你好,我想问一下,如果来源于Kakfka的一条数据出现错误,会导致任务执行失败,日志抛出该条错误数据。
为保证任务执行,需要在*** WITH内加'value.json.ignore-parse-errors' = 'true',
'value.json.fail-on-missing-field' = 'false'
那么之后如果出现异常的数据,我应该怎么感知到呢??
:
com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
Hi,
看起来像是这几个项目中的版本并不适配,导致com.google.common.base.Preconditions这个类版本冲突导致的,可以尝试下将这个包在flink和hudi中shade一下试试
--
Best!
Xuyang
At 2022-09-14 09:27:45, "Summer" wrote:
版本:Flink1.13.3、Hudi0.10.1、Hive3.1.2、Hadoop3.2.1
编译:Hudi
开了,但是全被干挂了
回复的原邮件
发件人 yidan zhao发送日期 2022年9月16日 16:05收件人
Summer抄送人
user-zh@flink.apache.org主题 Re:
任务启动异常导致Flink服务挂掉,无法启动Flink服务
HA模式开启了对嘛。
Summer 于2022年9月16日周五 15:48写道:
原因是找到了,${FLINK_HOME}/lib缺少了一个任务依赖Jar包,
那么如果我在不添加这个jar的情况下,由于Flink无法启动,怎么才能取消掉这个任务??
回复的原邮件
原因是找到了,${FLINK_HOME}/lib缺少了一个任务依赖Jar包,
那么如果我在不添加这个jar的情况下,由于Flink无法启动,怎么才能取消掉这个任务??
回复的原邮件
发件人 yidan zhao发送日期 2022年9月16日 14:51收件人
Summer抄送人
user-zh@flink.apache.org主题 Re:
任务启动异常导致Flink服务挂掉,无法启动Flink服务
开启了HA是吧。
Summer 于2022年9月16日周五 14:32写道:
standlone部署
回复的
standlone部署
回复的原邮件
发件人 yidan zhao发送日期 2022年9月16日 14:20收件人
user-zh主题 Re: 任务启动异常导致Flink服务挂掉,无法启动Flink服务
什么部署模式。
Summer 于2022年9月16日周五 13:57写道:
Flink版本:1.13.3
我有一个Flink Sql的任务,也生成了checkpoint,但是执行过程出现Execption,导致整个Flink JobManger无法启动。
我再重启Flink的时候,这个FlinkSql任务由于一直
Flink版本:1.13.3
我有一个Flink Sql的任务,也生成了checkpoint,但是执行过程出现Execption,导致整个Flink JobManger无法启动。
我再重启Flink的时候,这个FlinkSql任务由于一直抛异常导致Flink进程启动不起来。
请问有什么办法取消这个任务。
版本:Flink1.13.3、Hudi0.10.1、Hive3.1.2、Hadoop3.2.1
编译:Hudi:mvn clean package -DskipITs -Dmaven.test.skip=true
-Dhadoop.version=3.2.1 -Pflink-bundle-shade-hive3
Flink-SQL-HIVE:mvn clean install -Dfast -Dhadoop.version=3.2.1 -Dscala-2.11
-DskipTests -Dfast -T 4 -Dmaven.compile.fork=true
版本:Flink1.13.3 、Hudi0.10.1、Hive3.1.2
lib:
-rw-r--r-- 1 root root 92313 Nov 12 2021 flink-csv-1.13.3.jar
-rw-r--r-- 1 root root 106535831 Nov 12 2021 flink-dist_2.12-1.13.3.jar
-rw-r--r-- 1 root root148127 Nov 12 2021 flink-json-1.13.3.jar
-rw-r--r-- 1 root root 43317025 Jun 13
版本:1.13.3
lib目录下:
-rw-r--r-- 1 root root 7759243 Aug 12 10:12
flink-connector-hive_2.12-1.13.3.jar
-rw-r--r-- 1 root root 92313 Aug 12 10:12 flink-csv-1.13.3.jar
-rw-r--r-- 1 root root 106535831 Aug 12 10:12 flink-dist_2.12-1.13.3.jar
-rw-r--r-- 1 root root 78644 Aug 12 10:12
你好,这是什么原因?
使用网页登录华为邮箱,无法退订。
Reporting-MTA: dns; localhost
Received-From-MTA: dns; localhost
Final-Recipient: rfc822; user-zh-unsubscr...@flink.apache.org
Action: failed
Status: 504 5.5.2 : Helo command rejected: need fully-qualified hostname
Diagnostic-Code: smtp; 504 5.5.2 : Helo command
使用 FinkUI 上传 Flink 任务 Jar 时,任务启动失败。 这时候JVM Metaspace就会异常增加。 这是什么原因?
Hello
Now I need to use a third-party jar in the Flink service, should I put
it under ${FLINK_HOME}/lib? How to enable Flink to automatically load
third-party jars?
TH
在我CDH6.3.2集成Flink1.13.3的时候,在执行flink-sql的时候,在日志中会出现这个报错:
ERROR StatusLogger No Log4j 2 configuration file found. Using default
configuration (logging only errors to the console), or user
programmatically provided configurations. Set system property
'log4j2.debug' to show Log4j 2 internal
在我CDH6.3.2集成Flink1.13.3的时候,在执行flink-sql的时候,在日志中会出现这个报错:
ERROR StatusLogger No Log4j 2 configuration file found. Using default
configuration (logging only errors to the console), or user
programmatically provided configurations. Set system property
'log4j2.debug' to show Log4j 2 internal
14 matches
Mail list logo