> BTW, I think the directory is setting to
${kylin.hdfs.working.dir}/dependencies automatically is a better idea.Good idea. 2016-06-07 17:15 GMT+08:00 赵天烁 <[email protected]>: > 是吗？在哪个版本上实现的？我在1.5.1上测试是不行的： > > 从这段代码来看依然是本地路径啊 > > AbstractHadoopJob > > // for KylinJobMRLibDir > > String mrLibDir = > KylinConfig.getInstanceFromEnv().getKylinJobMRLibDir(); > > if (!StringUtils.isBlank(mrLibDir)) { > > File dirFileMRLIB = new File(mrLibDir); > > if (dirFileMRLIB.exists()) { > > if (kylinDependency.length() > 0) > > kylinDependency.append(","); > > kylinDependency.append(mrLibDir); > > } else { > > logger.info("The directory '" + mrLibDir + "' for > 'kylin.job.mr.lib.dir' does not exist!!!"); > > } > > } > > > > ----------------------------------------------------- > > > > 赵天烁 > > Kevin Zhao > > *[email protected] <[email protected]>* > > > > 珠海市魅族科技有限公司 > > MEIZU Technology Co., Ltd. > > 广东省珠海市科技创新海岸魅族科技楼 > > MEIZU Tech Bldg., Technology & Innovation Coast > > Zhuhai, 519085, Guangdong, China > > > > > > meizu.com > > > > > > > > > > *发件人:* yu feng [mailto:[email protected]] > *发送时间:* 2016年6月7日 16:46 > *收件人:* [email protected]; [email protected] > *主题:* Re: 答复: kylin.job.mr.lib.dir配置在hdfs下无效问题 > > > > I think KYLIN-1021 has done about setting a HDFS path that store all jars, > BTW, I think the directory is setting to > ${kylin.hdfs.working.dir}/dependencies automatically is a better idea. > > > > 在 2016年6月7日 下午4:28，Li Yang <[email protected]>写道： > > Agree allowing HDFS path as well is a good idea. Please open a JIRA. > > > > 2016-06-01 11:08 GMT+08:00 赵天烁 <[email protected]>: > > 而且 这些hive和common的依赖jar包好像必须放在/opt/hadoop/share/hadoop/common/ > 目录下，如果我自己本地建了一个/opt/kylin/lib/目录，kylin.job.mr.lib.dir指定到这个目录，依赖jar也全部都copy > 进去，而且分发到了hadoop的每个节点上，但是build cube的时候还是会报找不到这些jar > > > > ----------------------------------------------------- > > > > 赵天烁 > > Kevin Zhao > > *[email protected] <[email protected]>* > > > > 珠海市魅族科技有限公司 > > MEIZU Technology Co., Ltd. > > 广东省珠海市科技创新海岸魅族科技楼 > > MEIZU Tech Bldg., Technology & Innovation Coast > > Zhuhai, 519085, Guangdong, China > > > > > > meizu.com > > > > > > > > > > *发件人:* [email protected] [mailto:[email protected]] *代表 *Li Yang > *发送时间:* 2016年6月1日 7:58 > *收件人:* 赵天烁 <[email protected]>; [email protected] > *主题:* Re: kylin.job.mr.lib.dir配置在hdfs下无效问题 > > > > 最后的实现和讨论有出入，我已经更新了JIRA。kylin.job.mr.lib.dir确实是指本地目录。 > > 另外还请发到[email protected]提问和讨论，这样才能帮助整个社区。 > > Cheers > > Yang > > > > 2016-05-23 18:00 GMT+08:00 赵天烁 <[email protected]>: > > Hi https://issues.apache.org/jira/browse/KYLIN-1021,this 这个问题似乎并没有解决，我尝试把mr > lib的依赖上传到了一个hdfs路径下，然后把kylin.job.mr.lib.dir配置到这个hdfs路径，启动的时候依然会报The > directory 'hdfs://root/share/kylin' for 'kylin.job.mr.lib.dir' does not > exist!!!，我看了下代码里只是用java 的File判断了下是否exist（AbstractHadoopJob:231 > ），有看到你已经提交了一个patch修复这个问题，是我的配置方法不对吗？ > > > > ----------------------------------------------------- > > > > 赵天烁 > > Kevin Zhao > > Java工程师 > > 研发中心-Flyme-大数据-平台研发 > > + 86 18826908281 | *[email protected] <[email protected]>* > > > > 珠海市魅族科技有限公司 > > MEIZU Technology Co., Ltd. > > 广东省珠海市科技创新海岸魅族科技楼 > > MEIZU Tech Bldg., Technology & Innovation Coast > > Zhuhai, 519085, Guangdong, China > > > > > > meizu.com > > > > > > > > > > > > >
