如何处理Flink KafkaSource的异常的数据

2022-09-28 Thread Summer
你好,我想问一下,如果来源于Kakfka的一条数据出现错误,会导致任务执行失败,日志抛出该条错误数据。 为保证任务执行,需要在*** WITH内加'value.json.ignore-parse-errors' = 'true', 'value.json.fail-on-missing-field' = 'false' 那么之后如果出现异常的数据,我应该怎么感知到呢??

Re: Flink+Hudi:java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

2022-09-21 Thread Summer
: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V Hi, 看起来像是这几个项目中的版本并不适配,导致com.google.common.base.Preconditions这个类版本冲突导致的,可以尝试下将这个包在flink和hudi中shade一下试试 -- Best! Xuyang At 2022-09-14 09:27:45, "Summer" wrote: 版本:Flink1.13.3、Hudi0.10.1、Hive3.1.2、Hadoop3.2.1 编译:Hudi

回复: 任务启动异常导致Flink服务挂掉,无法启动Flink服务

2022-09-16 Thread Summer
开了,但是全被干挂了 回复的原邮件 发件人 yidan zhao发送日期 2022年9月16日 16:05收件人 Summer抄送人 user-zh@flink.apache.org主题 Re: 任务启动异常导致Flink服务挂掉,无法启动Flink服务 HA模式开启了对嘛。 Summer 于2022年9月16日周五 15:48写道: 原因是找到了,${FLINK_HOME}/lib缺少了一个任务依赖Jar包, 那么如果我在不添加这个jar的情况下,由于Flink无法启动,怎么才能取消掉这个任务?? 回复的原邮件

回复: 任务启动异常导致Flink服务挂掉,无法启动Flink服务

2022-09-16 Thread Summer
原因是找到了,${FLINK_HOME}/lib缺少了一个任务依赖Jar包, 那么如果我在不添加这个jar的情况下,由于Flink无法启动,怎么才能取消掉这个任务?? 回复的原邮件 发件人 yidan zhao发送日期 2022年9月16日 14:51收件人 Summer抄送人 user-zh@flink.apache.org主题 Re: 任务启动异常导致Flink服务挂掉,无法启动Flink服务 开启了HA是吧。 Summer 于2022年9月16日周五 14:32写道: standlone部署 回复的

回复: 任务启动异常导致Flink服务挂掉,无法启动Flink服务

2022-09-16 Thread Summer
standlone部署 回复的原邮件 发件人 yidan zhao发送日期 2022年9月16日 14:20收件人 user-zh主题 Re: 任务启动异常导致Flink服务挂掉,无法启动Flink服务 什么部署模式。 Summer 于2022年9月16日周五 13:57写道: Flink版本:1.13.3 我有一个Flink Sql的任务,也生成了checkpoint,但是执行过程出现Execption,导致整个Flink JobManger无法启动。 我再重启Flink的时候,这个FlinkSql任务由于一直

任务启动异常导致Flink服务挂掉,无法启动Flink服务

2022-09-15 Thread Summer
Flink版本:1.13.3 我有一个Flink Sql的任务,也生成了checkpoint,但是执行过程出现Execption,导致整个Flink JobManger无法启动。 我再重启Flink的时候,这个FlinkSql任务由于一直抛异常导致Flink进程启动不起来。 请问有什么办法取消这个任务。

Flink+Hudi:java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

2022-09-13 Thread Summer
版本:Flink1.13.3、Hudi0.10.1、Hive3.1.2、Hadoop3.2.1 编译:Hudi:mvn clean package -DskipITs -Dmaven.test.skip=true -Dhadoop.version=3.2.1 -Pflink-bundle-shade-hive3 Flink-SQL-HIVE:mvn clean install -Dfast -Dhadoop.version=3.2.1 -Dscala-2.11 -DskipTests -Dfast -T 4 -Dmaven.compile.fork=true

FlinkSqlClient创建hudi表时,未在Hive中同步创建rt、ro表

2022-08-12 Thread Summer
版本:Flink1.13.3 、Hudi0.10.1、Hive3.1.2 lib: -rw-r--r-- 1 root root 92313 Nov 12 2021 flink-csv-1.13.3.jar -rw-r--r-- 1 root root 106535831 Nov 12 2021 flink-dist_2.12-1.13.3.jar -rw-r--r-- 1 root root148127 Nov 12 2021 flink-json-1.13.3.jar -rw-r--r-- 1 root root 43317025 Jun 13

Client启动有异常: SQL Client must stop. Unexpected exception. This is a bug. Please consider filing an issue.

2022-08-11 Thread Summer
版本:1.13.3 lib目录下: -rw-r--r-- 1 root root 7759243 Aug 12 10:12 flink-connector-hive_2.12-1.13.3.jar -rw-r--r-- 1 root root 92313 Aug 12 10:12 flink-csv-1.13.3.jar -rw-r--r-- 1 root root 106535831 Aug 12 10:12 flink-dist_2.12-1.13.3.jar -rw-r--r-- 1 root root 78644 Aug 12 10:12

邮箱无法退订

2022-07-13 Thread Summer
你好,这是什么原因? 使用网页登录华为邮箱,无法退订。 Reporting-MTA: dns; localhost Received-From-MTA: dns; localhost Final-Recipient: rfc822; user-zh-unsubscr...@flink.apache.org Action: failed Status: 504 5.5.2 : Helo command rejected: need fully-qualified hostname Diagnostic-Code: smtp; 504 5.5.2 : Helo command

Flink JobManager 节点 JVM Metaspace 过高

2022-06-10 Thread Summer
使用 FinkUI 上传 Flink 任务 Jar 时,任务启动失败。 这时候JVM Metaspace就会异常增加。 这是什么原因?

How does Flink add third-party jars without the service going offline

2022-01-18 Thread summer
Hello Now I need to use a third-party jar in the Flink service, should I put it under ${FLINK_HOME}/lib? How to enable Flink to automatically load third-party jars? TH

ERROR org.apache.flink.shaded.curator4.org.apache.curator.ConnectionState - Authentication failed

2021-12-01 Thread summer
在我CDH6.3.2集成Flink1.13.3的时候,在执行flink-sql的时候,在日志中会出现这个报错: ERROR StatusLogger No Log4j 2 configuration file found. Using default configuration (logging only errors to the console), or user programmatically provided configurations. Set system property 'log4j2.debug' to show Log4j 2 internal

ERROR org.apache.flink.shaded.curator4.org.apache.curator.ConnectionState - Authentication failed

2021-12-01 Thread summer
在我CDH6.3.2集成Flink1.13.3的时候,在执行flink-sql的时候,在日志中会出现这个报错: ERROR StatusLogger No Log4j 2 configuration file found. Using default configuration (logging only errors to the console), or user programmatically provided configurations. Set system property 'log4j2.debug' to show Log4j 2 internal