Hi, 写orc表的作业有报错么?还是成功执行但是hive查不到数据呢? 看不到你贴的代码,有没有设置table.exec.hive.fallback-mapred-writer?
On Wed, Aug 12, 2020 at 5:14 PM 18579099...@163.com <18579099...@163.com> wrote: > > > 我通过datagen作为流表,分别写入两个表结构相同,存储格式不同的hive表(一个orc,一个parquet)中,其中parquet表正常写入并且生成了_SUCCESS文件,hive也能查询到, > > 但是orc表没有生成_SUCCESS文件,并且hive中无法查询到,我是在本地ide上直接运行的,hive版本是1.2.1,flink版本是1.11.1,同时我发现orc表的分区中生成的文件数量比parquet多, > 而且不会根据checkpoint间隔生成(parquet符合checkpoint间隔)。而且需要导入flink-orc_2.11jar包(parquet不需要),否则报Exception > in thread "main" java.lang.NoClassDefFoundError: > org/apache/orc/TypeDescription错误。并且parquet每间隔checkpoint interval > 会输出parquet相关的日志,而orc的并没有日志产生,请问是什么原因?我已贴上代码。 > ------------------------------ > 18579099...@163.com > -- Best regards! Rui Li