在内网，弄不出来。数组业界，在OrcFile$WriterVersion.from(OrcFile.java:145) 目前升级hive到2.3能正常用了，因为从hive2.3开始有独立的orc-core jar了。但是我们用的是CDH，这样子管理不太方便。
发自我的iPhone > 在 2020年8月21日，16:18，Rui Li <[email protected]> 写道： > > 是说写数据用的是flink的FileSystem connector，然后读数据是用hive自己去读的？具体错误的stacktrace贴一下看看呢 > >> On Fri, Aug 21, 2020 at 3:05 PM <[email protected]> wrote: >> >> flink table >> sql把mysql的表数据写到hdfs的路径上，存成orc。hive创建外部表，查询报错。最根本原因是hive2.1是把orc的相关类打包一起的，包名举例，org.apache.hive.orc.xxxx，而且新版的是org.apache.orc.xxxx。 >> >> 发自我的iPhone >> >>>> 在 2020年8月21日，14:37，Rui Li <[email protected]> 写道： >>> >>> Hi, >>> >>> 能不能具体描述一下你的作业是怎么写的？比如怎么创建的hive表，如何把数据写进去之类的。我们可以试试能不能重现你的问题 >>> >>>> On Fri, Aug 21, 2020 at 1:41 PM <[email protected]> wrote: >>>> >>>> 试过了，一样的，本质也是通过写文件。 >>>> >>>> 发自我的iPhone >>>> >>>>>> 在 2020年8月21日，13:35，Jingsong Li <[email protected]> 写道： >>>>> >>>>> 是的 >>>>> >>>>>> On Fri, Aug 21, 2020 at 1:30 PM <[email protected]> wrote: >>>>>> >>>>>> flink hive表的方式是什么意思？hive streaming吗？ >>>>>> >>>>>> 发自我的iPhone >>>>>> >>>>>>>> 在 2020年8月21日，13:27，Jingsong Li <[email protected]> 写道： >>>>>>> >>>>>>> Flink filesystem connector 或者 DataStream用flink-orc >>>>>> 的版本是比较新的版本，所以老版本的ORC读不了。 >>>>>>> >>>>>>> 建议你用Flink hive表的方式来写orc >>>>>>> >>>>>>>> On Fri, Aug 21, 2020 at 12:25 PM <[email protected]> wrote: >>>>>>>> >>>>>>>> Flink是指定orc版本的，并没有用hive的。所以写进去之后，hive读不出来。 >>>>>>>> >>>>>>>> 发自我的iPhone >>>>>>>> >>>>>>>>>> 在 2020年8月21日，12:15，Jingsong Li <[email protected]> 写道： >>>>>>>>> >>>>>>>>> 如果是hive table的写，flink sql是使用hive对应版本的orc的，所以理论上效果和hive >> sql写orc是一样的。 >>>>>>>>> 确定这个版本hive写出的数据可以被读取吗？ >>>>>>>>> >>>>>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[email protected]> wrote: >>>>>>>>>> >>>>>>>>>> 使用版本是flink 1.11 >>>>>>>>>> Hive 2.1.1 >>>>>>>>>> flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？ >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> >>>>>>>>> >>>>>>>>> -- >>>>>>>>> Best, Jingsong Lee >>>>>>>> >>>>>>> >>>>>>> >>>>>>> -- >>>>>>> Best, Jingsong Lee >>>>>> >>>>>> >>>>> >>>>> -- >>>>> Best, Jingsong Lee >>>> >>>> >>> >>> -- >>> Best regards! >>> Rui Li >> >> > > -- > Best regards! > Rui Li
