Hi ShaoFeng Shi、Lijun Cao,
   
针对前面提到的几个问题,我再做一下补充吧,我们目前的正在使用的hadoop版本是2.7.6,hive版本是1.2.1,hbase是2.0.1,所以我基于kylin-hadoop3将hive的版本依赖进行降级,然后重新编译了一下,用编译后的kylin-source-hive-2.5.0.jar替换掉原有的,kylin中的hive相关操作可以正常运行,后续有针对spark构建的问题编写了一点代码,使得spark构建成功。我认为这些不应该会引起tomcat类加载问题,不知道两位大神有没有好的见解。
   另外我在hbase官网上看hbase-2.0.1 on Hadoop3 还没有进行很好的测试,为什么不将hadoop和hbase的升级分成两步进行呢?
  
 Best regards
   Zeng.kong 

-----邮件原件-----
发件人: ShaoFeng Shi [mailto:shaofeng...@apache.org] 
发送时间: 2018年10月29日 11:07
收件人: dev <dev@kylin.apache.org>
主题: Re: apache-kylin-2.5.0-bin-hadoop3版使用中发现的问题

Hi zeng kong,

Thanks for the reporting; We heard Tomcat has changed the classloading policy 
in 8.5; But when we test it on Hadoop 3, didn't see the conflict, maybe we 
didn't verify enough SQL;  Would you like to report a JIRA on the problem you 
found? We will check it when recovering the Hadoop 3 cluster.

Lijun Cao <641507...@qq.com> 于2018年10月29日周一 上午10:30写道:

> Hi zeng.kong:
>
> Kylin for hadoop3 is not support Spark cubing for now because the 
> Spark hasn’t declared that it is support Hadoop 3 explicitly.
>
> The time to merge Hadoop 3 support into master branch is not 
> determined due to the issue mentioned above and the users of Hadoop 3 
> is not large so far.
>
> Best regards
>
> Lijun Cao
>
> > 在 2018年10月25日,09:58,zeng.kong <zeng.k...@ucarinc.com> 写道:
> >
> >   Hi,
> >
> >      我使用的是
> > <
> https://dist.apache.org/repos/dist/dev/kylin/apache-kylin-2.5.0-rc2/ap
> ache-
> > kylin-2.5.0-bin-hadoop3.tar.gz> apache-kylin-2.5.0-bin-hadoop3版本
> >
> >      我的环境搭建方式是hive和hbase使用不同的filesystem,在cube构建过程中如
> > 果选择spark引擎构建的话出了以下两个问题:
> >
> > 1、  在进行到Build Cube with Spark步骤时出现hbase-config.xml查询的filesystem
> > 与其路径所在的filesystem不一致,因为其在前面步骤放到了hive所在的hdfs,而在这
> > 步获取的时候用的是hbase所在的filesystem
> >
> > 2、  在进行到Convert Cuboid Data to HFile步骤时出现缺少hbase相关jar包的问题
> >
> > 另外在构建承购后使用inner进行数据查询时,其sql解析不正确,导致扫描大量hbase
> > 记录,主要原因是在tomcat调整为8.5.33后其类的加载顺序出现变化,使得calcite重
> > 写的代码得不到加载。
> >
> >
> >
> > 以上问题是我在使用过程中发现的,不确定是否与我搭建方式有关,另外此版本会在何
> > 时合并至master?
> >
> >
> >
> >
> > 谢谢!
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
>
>

--
Best regards,

Shaofeng Shi 史少锋

Reply via email to