是说写数据用的是flink的FileSystem connector，然后读数据是用hive自己去读的？具体错误的stacktrace贴一下看看呢
On Fri, Aug 21, 2020 at 3:05 PM <[email protected]> wrote: > flink table > sql把mysql的表数据写到hdfs的路径上，存成orc。hive创建外部表，查询报错。最根本原因是hive2.1是把orc的相关类打包一起的，包名举例，org.apache.hive.orc.xxxx，而且新版的是org.apache.orc.xxxx。 > > 发自我的iPhone > > > 在 2020年8月21日，14:37，Rui Li <[email protected]> 写道： > > > > Hi, > > > > 能不能具体描述一下你的作业是怎么写的？比如怎么创建的hive表，如何把数据写进去之类的。我们可以试试能不能重现你的问题 > > > >> On Fri, Aug 21, 2020 at 1:41 PM <[email protected]> wrote: > >> > >> 试过了，一样的，本质也是通过写文件。 > >> > >> 发自我的iPhone > >> > >>>> 在 2020年8月21日，13:35，Jingsong Li <[email protected]> 写道： > >>> > >>> 是的 > >>> > >>>> On Fri, Aug 21, 2020 at 1:30 PM <[email protected]> wrote: > >>>> > >>>> flink hive表的方式是什么意思？hive streaming吗？ > >>>> > >>>> 发自我的iPhone > >>>> > >>>>>> 在 2020年8月21日，13:27，Jingsong Li <[email protected]> 写道： > >>>>> > >>>>> Flink filesystem connector 或者 DataStream用flink-orc > >>>> 的版本是比较新的版本，所以老版本的ORC读不了。 > >>>>> > >>>>> 建议你用Flink hive表的方式来写orc > >>>>> > >>>>>> On Fri, Aug 21, 2020 at 12:25 PM <[email protected]> wrote: > >>>>>> > >>>>>> Flink是指定orc版本的，并没有用hive的。所以写进去之后，hive读不出来。 > >>>>>> > >>>>>> 发自我的iPhone > >>>>>> > >>>>>>>> 在 2020年8月21日，12:15，Jingsong Li <[email protected]> 写道： > >>>>>>> > >>>>>>> 如果是hive table的写，flink sql是使用hive对应版本的orc的，所以理论上效果和hive > sql写orc是一样的。 > >>>>>>> 确定这个版本hive写出的数据可以被读取吗？ > >>>>>>> > >>>>>>>> On Fri, Aug 21, 2020 at 10:17 AM <[email protected]> wrote: > >>>>>>>> > >>>>>>>> 使用版本是flink 1.11 > >>>>>>>> Hive 2.1.1 > >>>>>>>> flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？ > >>>>>>>> > >>>>>>>> > >>>>>>>> > >>>>>>> > >>>>>>> -- > >>>>>>> Best, Jingsong Lee > >>>>>> > >>>>> > >>>>> > >>>>> -- > >>>>> Best, Jingsong Lee > >>>> > >>>> > >>> > >>> -- > >>> Best, Jingsong Lee > >> > >> > > > > -- > > Best regards! > > Rui Li > > -- Best regards! Rui Li
