flink table sql把mysql的表数据写到hdfs的路径上，存成orc。hive创建外部表，查询报错。最根本原因是hive2.1是把orc的相关类打包一起的，包名举例，org.apache.hive.orc.xxxx，而且新版的是org.apache.orc.xxxx。
发自我的iPhone > 在 2020年8月21日，14:37，Rui Li <lirui.fu...@gmail.com> 写道： > > Hi, > > 能不能具体描述一下你的作业是怎么写的？比如怎么创建的hive表，如何把数据写进去之类的。我们可以试试能不能重现你的问题 > >> On Fri, Aug 21, 2020 at 1:41 PM <abc15...@163.com> wrote: >> >> 试过了，一样的，本质也是通过写文件。 >> >> 发自我的iPhone >> >>>> 在 2020年8月21日，13:35，Jingsong Li <jingsongl...@gmail.com> 写道： >>> >>> 是的 >>> >>>> On Fri, Aug 21, 2020 at 1:30 PM <abc15...@163.com> wrote: >>>> >>>> flink hive表的方式是什么意思？hive streaming吗？ >>>> >>>> 发自我的iPhone >>>> >>>>>> 在 2020年8月21日，13:27，Jingsong Li <jingsongl...@gmail.com> 写道： >>>>> >>>>> Flink filesystem connector 或者 DataStream用flink-orc >>>> 的版本是比较新的版本，所以老版本的ORC读不了。 >>>>> >>>>> 建议你用Flink hive表的方式来写orc >>>>> >>>>>> On Fri, Aug 21, 2020 at 12:25 PM <abc15...@163.com> wrote: >>>>>> >>>>>> Flink是指定orc版本的，并没有用hive的。所以写进去之后，hive读不出来。 >>>>>> >>>>>> 发自我的iPhone >>>>>> >>>>>>>> 在 2020年8月21日，12:15，Jingsong Li <jingsongl...@gmail.com> 写道： >>>>>>> >>>>>>> 如果是hive table的写，flink sql是使用hive对应版本的orc的，所以理论上效果和hive sql写orc是一样的。 >>>>>>> 确定这个版本hive写出的数据可以被读取吗？ >>>>>>> >>>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <abc15...@163.com> wrote: >>>>>>>> >>>>>>>> 使用版本是flink 1.11 >>>>>>>> Hive 2.1.1 >>>>>>>> flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？ >>>>>>>> >>>>>>>> >>>>>>>> >>>>>>> >>>>>>> -- >>>>>>> Best, Jingsong Lee >>>>>> >>>>> >>>>> >>>>> -- >>>>> Best, Jingsong Lee >>>> >>>> >>> >>> -- >>> Best, Jingsong Lee >> >> > > -- > Best regards! > Rui Li
