那么生成了 success 文件了吗?
另外你的 sink.partition-commit.trigger 用的是 process-time(默认是 process-time) 还是 
partition-time。

Best regards,
Yuxia

----- 原始邮件 -----
发件人: "junjie miao" <junjie.m...@goupwith.com>
收件人: "user-zh" <user-zh@flink.apache.org>
发送时间: 星期四, 2022年 9 月 22日 下午 2:27:46
主题: Re: Re: 并行度>1时实时写入hive partition table且开启了checkpoint没有同步信息到metastore

文件都是生成了的,主要是没有更新hive metastore。

补充下信息已经设置了'sink.partition-commit.policy.kind' = 'metastore,success-file'

 
发件人: yuxia
发送时间: 2022-09-22 14:14
收件人: user-zh
主题: Re: 并行度>1时实时写入hive partition table且开启了checkpoint没有同步信息到metastore
你用 hdfs dfs -ls 看一下对应表的路径下,是不是有文件生成。
 
Best regards,
Yuxia
 
----- 原始邮件 -----
发件人: "junjie miao" <junjie.m...@goupwith.com>
收件人: "user-zh" <user-zh@flink.apache.org>
发送时间: 星期四, 2022年 9 月 22日 下午 1:59:55
主题: 并行度>1时实时写入hive partition table且开启了checkpoint没有同步信息到metastore
 
flink 1.14.5中消费kafka数据实时写入hive partition text table且开启了checkpoint,
发现当并行度为1时在hive中show partitions可以看到分区信息并能查询出结果数据,
但是当并行度>1时就查询不到分区信息同时也无法查询出结果数据。
不知道是否有人也遇到过这个问题,还是有什么其他注意点?

回复