是吗？在哪个版本上实现的？我在1.5.1上测试是不行的：
从这段代码来看依然是本地路径啊
AbstractHadoopJob
// for KylinJobMRLibDir
String mrLibDir =
KylinConfig.getInstanceFromEnv().getKylinJobMRLibDir();
if (!StringUtils.isBlank(mrLibDir)) {
File dirFileMRLIB = new File(mrLibDir);
if (dirFileMRLIB.exists()) {
if (kylinDependency.length() > 0)
kylinDependency.append(",");
kylinDependency.append(mrLibDir);
} else {
logger.info("The directory '" + mrLibDir + "' for
'kylin.job.mr.lib.dir' does not exist!!!");
}
}
-----------------------------------------------------
赵天烁
Kevin Zhao
[email protected]<mailto:[email protected]>
珠海市魅族科技有限公司
MEIZU Technology Co., Ltd.
广东省珠海市科技创新海岸魅族科技楼
MEIZU Tech Bldg., Technology & Innovation Coast
Zhuhai, 519085, Guangdong, China
meizu.com
发件人: yu feng [mailto:[email protected]]
发送时间: 2016年6月7日 16:46
收件人: [email protected]; [email protected]
主题: Re: 答复: kylin.job.mr.lib.dir配置在hdfs下无效问题
I think KYLIN-1021 has done about setting a HDFS path that store all jars, BTW,
I think the directory is setting to ${kylin.hdfs.working.dir}/dependencies
automatically is a better idea.
在 2016年6月7日 下午4:28，Li Yang
<[email protected]<mailto:[email protected]>>写道：
Agree allowing HDFS path as well is a good idea. Please open a JIRA.
2016-06-01 11:08 GMT+08:00 赵天烁
<[email protected]<mailto:[email protected]>>:
而且
这些hive和common的依赖jar包好像必须放在/opt/hadoop/share/hadoop/common/目录下，如果我自己本地建了一个/opt/kylin/lib/目录，kylin.job.mr.lib.dir指定到这个目录，依赖jar也全部都copy进去，而且分发到了hadoop的每个节点上，但是build
cube的时候还是会报找不到这些jar
-----------------------------------------------------
赵天烁
Kevin Zhao
[email protected]<mailto:[email protected]>
珠海市魅族科技有限公司
MEIZU Technology Co., Ltd.
广东省珠海市科技创新海岸魅族科技楼
MEIZU Tech Bldg., Technology & Innovation Coast
Zhuhai, 519085, Guangdong, China
meizu.com<http://meizu.com>
发件人: [email protected]<mailto:[email protected]>
[mailto:[email protected]<mailto:[email protected]>] 代表 Li Yang
发送时间: 2016年6月1日 7:58
收件人: 赵天烁 <[email protected]<mailto:[email protected]>>;
[email protected]<mailto:[email protected]>
主题: Re: kylin.job.mr.lib.dir配置在hdfs下无效问题
最后的实现和讨论有出入，我已经更新了JIRA。kylin.job.mr.lib.dir确实是指本地目录。
另外还请发到[email protected]<mailto:[email protected]>提问和讨论，这样才能帮助整个社区。
Cheers
Yang
2016-05-23 18:00 GMT+08:00 赵天烁
<[email protected]<mailto:[email protected]>>:
Hi https://issues.apache.org/jira/browse/KYLIN-1021,this 这个问题似乎并没有解决，我尝试把mr
lib的依赖上传到了一个hdfs路径下，然后把kylin.job.mr.lib.dir配置到这个hdfs路径，启动的时候依然会报The directory
'hdfs://root/share/kylin' for 'kylin.job.mr.lib.dir' does not
exist!!!，我看了下代码里只是用java
的File判断了下是否exist（AbstractHadoopJob:231），有看到你已经提交了一个patch修复这个问题，是我的配置方法不对吗？
-----------------------------------------------------
赵天烁
Kevin Zhao
Java工程师
研发中心-Flyme-大数据-平台研发
+ 86 18826908281<tel:%2B%2086%2018826908281> |
[email protected]<mailto:[email protected]>
珠海市魅族科技有限公司
MEIZU Technology Co., Ltd.
广东省珠海市科技创新海岸魅族科技楼
MEIZU Tech Bldg., Technology & Innovation Coast
Zhuhai, 519085, Guangdong, China
meizu.com<http://meizu.com>
