我通过datagen作为流表,分别写入两个表结构相同,存储格式不同的hive表(一个orc,一个parquet)中,其中parquet表正常写入并且生成了_SUCCESS文件,hive也能查询到,
但是orc表没有生成_SUCCESS文件,并且hive中无法查询到,我是在本地ide上直接运行的,hive版本是1.2.1,flink版本是1.11.1,同时我发现orc表的分区中生成的文件数量比parquet多,
而且不会根据checkpoint间隔生成(parquet符合checkpoint间隔)。而且需要导入flink-orc_2.11jar包(parquet不需要),否则报Exception
 in thread "main" java.lang.NoClassDefFoundError: 
org/apache/orc/TypeDescription错误。并且parquet每间隔checkpoint interval 
会输出parquet相关的日志,而orc的并没有日志产生,请问是什么原因?我已贴上代码。


18579099...@163.com

回复