答复: apache-kylin-2.5.0-bin-hadoop3版使用中发现的问题

[zeng . kong]

Hi ShaoFeng Shi、Lijun Cao,
   
针对前面提到的几个问题，我再做一下补充吧，我们目前的正在使用的hadoop版本是2.7.6，hive版本是1.2.1，hbase是2.0.1,所以我基于kylin-hadoop3将hive的版本依赖进行降级，然后重新编译了一下，用编译后的kylin-source-hive-2.5.0.jar替换掉原有的，kylin中的hive相关操作可以正常运行，后续有针对spark构建的问题编写了一点代码，使得spark构建成功。我认为这些不应该会引起tomcat类加载问题，不知道两位大神有没有好的见解。
   另外我在hbase官网上看hbase-2.0.1 on Hadoop3 还没有进行很好的测试，为什么不将hadoop和hbase的升级分成两步进行呢？
  
 Best regards
   Zeng.kong 

-邮件原件-
发件人: ShaoFeng Shi [mailto:shaofeng...@apache.org] 
发送时间: 2018年10月29日 11:07
收件人: dev 
主题: Re: apache-kylin-2.5.0-bin-hadoop3版使用中发现的问题

Hi zeng kong,

Thanks for the reporting; We heard Tomcat has changed the classloading policy 
in 8.5; But when we test it on Hadoop 3, didn't see the conflict, maybe we 
didn't verify enough SQL;  Would you like to report a JIRA on the problem you 
found? We will check it when recovering the Hadoop 3 cluster.

Lijun Cao <641507...@qq.com> 于2018年10月29日周一 上午10:30写道：

> Hi zeng.kong:
>
> Kylin for hadoop3 is not support Spark cubing for now because the 
> Spark hasn’t declared that it is support Hadoop 3 explicitly.
>
> The time to merge Hadoop 3 support into master branch is not 
> determined due to the issue mentioned above and the users of Hadoop 3 
> is not large so far.
>
> Best regards
>
> Lijun Cao
>
> > 在 2018年10月25日，09:58，zeng.kong  写道：
> >
> >   Hi,
> >
> >  我使用的是
> > <
> https://dist.apache.org/repos/dist/dev/kylin/apache-kylin-2.5.0-rc2/ap
> ache-
> > kylin-2.5.0-bin-hadoop3.tar.gz> apache-kylin-2.5.0-bin-hadoop3版本
> >
> >  我的环境搭建方式是hive和hbase使用不同的filesystem，在cube构建过程中如
> > 果选择spark引擎构建的话出了以下两个问题：
> >
> > 1、  在进行到Build Cube with Spark步骤时出现hbase-config.xml查询的filesystem
> > 与其路径所在的filesystem不一致，因为其在前面步骤放到了hive所在的hdfs，而在这
> > 步获取的时候用的是hbase所在的filesystem
> >
> > 2、  在进行到Convert Cuboid Data to HFile步骤时出现缺少hbase相关jar包的问题
> >
> > 另外在构建承购后使用inner进行数据查询时，其sql解析不正确，导致扫描大量hbase
> > 记录，主要原因是在tomcat调整为8.5.33后其类的加载顺序出现变化，使得calcite重
> > 写的代码得不到加载。
> >
> >
> >
> > 以上问题是我在使用过程中发现的，不确定是否与我搭建方式有关，另外此版本会在何
> > 时合并至master？
> >
> >
> >
> >
> > 谢谢！
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
>
>

--
Best regards,

Shaofeng Shi 史少锋

apache-kylin-2.5.0-bin-hadoop3版使用中发现的问题

[zeng . kong]

   Hi,

  我使用的是
 apache-kylin-2.5.0-bin-hadoop3版本

  我的环境搭建方式是hive和hbase使用不同的filesystem，在cube构建过程中如
果选择spark引擎构建的话出了以下两个问题：

1、  在进行到Build Cube with Spark步骤时出现hbase-config.xml查询的filesystem
与其路径所在的filesystem不一致，因为其在前面步骤放到了hive所在的hdfs，而在这
步获取的时候用的是hbase所在的filesystem

2、  在进行到Convert Cuboid Data to HFile步骤时出现缺少hbase相关jar包的问题

另外在构建承购后使用inner进行数据查询时，其sql解析不正确，导致扫描大量hbase
记录，主要原因是在tomcat调整为8.5.33后其类的加载顺序出现变化，使得calcite重
写的代码得不到加载。

 

以上问题是我在使用过程中发现的，不确定是否与我搭建方式有关，另外此版本会在何
时合并至master？

 

 
谢谢！