I think KYLIN-1021 has done about setting a HDFS path that store all jars,
BTW, I think the directory is setting to
${kylin.hdfs.working.dir}/dependencies automatically is a better idea.在 2016年6月7日 下午4:28，Li Yang <[email protected]>写道： > Agree allowing HDFS path as well is a good idea. Please open a JIRA. > > 2016-06-01 11:08 GMT+08:00 赵天烁 <[email protected]>: > >> 而且 这些hive和common的依赖jar包好像必须放在/opt/hadoop/share/hadoop/common/ >> 目录下，如果我自己本地建了一个/opt/kylin/lib/目录，kylin.job.mr.lib.dir指定到这个目录，依赖jar也全部都 >> copy进去，而且分发到了hadoop的每个节点上，但是build cube的时候还是会报找不到这些jar >> >> >> >> ----------------------------------------------------- >> >> >> >> 赵天烁 >> >> Kevin Zhao >> >> *[email protected] <[email protected]>* >> >> >> >> 珠海市魅族科技有限公司 >> >> MEIZU Technology Co., Ltd. >> >> 广东省珠海市科技创新海岸魅族科技楼 >> >> MEIZU Tech Bldg., Technology & Innovation Coast >> >> Zhuhai, 519085, Guangdong, China >> >> >> >> >> >> meizu.com >> >> >> >> >> >> >> >> >> >> *发件人:* [email protected] [mailto:[email protected]] *代表 *Li Yang >> *发送时间:* 2016年6月1日 7:58 >> *收件人:* 赵天烁 <[email protected]>; [email protected] >> *主题:* Re: kylin.job.mr.lib.dir配置在hdfs下无效问题 >> >> >> >> 最后的实现和讨论有出入，我已经更新了JIRA。kylin.job.mr.lib.dir确实是指本地目录。 >> >> 另外还请发到[email protected]提问和讨论，这样才能帮助整个社区。 >> >> Cheers >> >> Yang >> >> >> >> 2016-05-23 18:00 GMT+08:00 赵天烁 <[email protected]>: >> >> Hi https://issues.apache.org/jira/browse/KYLIN-1021,this >> 这个问题似乎并没有解决，我尝试把mr lib的依赖上传到了一个hdfs路径下，然后把kylin.job.mr.lib.dir配置到这个hdfs >> 路径，启动的时候依然会报The directory 'hdfs://root/share/kylin' for >> 'kylin.job.mr.lib.dir' does not exist!!!，我看了下代码里只是用java 的File判断了下是否exist（ >> AbstractHadoopJob:231），有看到你已经提交了一个patch修复这个问题，是我的配置方法不对吗？ >> >> >> >> ----------------------------------------------------- >> >> >> >> 赵天烁 >> >> Kevin Zhao >> >> Java工程师 >> >> 研发中心-Flyme-大数据-平台研发 >> >> + 86 18826908281 | *[email protected] <[email protected]>* >> >> >> >> 珠海市魅族科技有限公司 >> >> MEIZU Technology Co., Ltd. >> >> 广东省珠海市科技创新海岸魅族科技楼 >> >> MEIZU Tech Bldg., Technology & Innovation Coast >> >> Zhuhai, 519085, Guangdong, China >> >> >> >> >> >> meizu.com >> >> >> >> >> >> >> >> >> > >
