Hi,

写orc表的作业有报错么?还是成功执行但是hive查不到数据呢?
看不到你贴的代码,有没有设置table.exec.hive.fallback-mapred-writer?

On Wed, Aug 12, 2020 at 5:14 PM 18579099...@163.com <18579099...@163.com>
wrote:

>
>
> 我通过datagen作为流表,分别写入两个表结构相同,存储格式不同的hive表(一个orc,一个parquet)中,其中parquet表正常写入并且生成了_SUCCESS文件,hive也能查询到,
>
> 但是orc表没有生成_SUCCESS文件,并且hive中无法查询到,我是在本地ide上直接运行的,hive版本是1.2.1,flink版本是1.11.1,同时我发现orc表的分区中生成的文件数量比parquet多,
> 而且不会根据checkpoint间隔生成(parquet符合checkpoint间隔)。而且需要导入flink-orc_2.11jar包(parquet不需要),否则报Exception
> in thread "main" java.lang.NoClassDefFoundError:
> org/apache/orc/TypeDescription错误。并且parquet每间隔checkpoint interval
> 会输出parquet相关的日志,而orc的并没有日志产生,请问是什么原因?我已贴上代码。
> ------------------------------
> 18579099...@163.com
>


-- 
Best regards!
Rui Li

回复