这个参数配置了么，*kylin.engine.spark-conf.spark.yarn.archive，*
是否配置为自己集群所在的hdfs目录，而不是文档上的hdfs://sandbox.hortonworks.com:8020
On Wed, Aug 14, 2019 at 2:37 PM 邵志鹏 wrote:
> 2019-08-14T14:31:09,188 INFO [http-bio-7070-exec-7]
> org.apache.kylin.cube.CubeManager - Updating cube instance
>
Hi,
You may click the“Reload Table”in Data Source Page, and make sure you have
checked the “Calculate column cardinality”, it will recompute column
cardinality again.
Best wishes,
Xiaoxiang Yu
发件人: 向伟靖 <865357...@qq.com>
答复: "user@kylin.apache.org"
日期: 2019年8月14日 星期三 15:26
??kill
-- --
??: "Johnson";
: 2019??8??14??(??) 3:23
??:
Hi kylin team:
kylin-2.6.3
使用MapReduce已经成功构建smaple cube。
然后clone了一份kylin_sales_cube修改为Spark，build 报错。
Spark是使用脚本下载的，配置参考了http://kylin.apache.org/cn/docs/tutorial/cube_spark.html。
$KYLIN_HOME/bin/download-spark.sh
jar cv0f spark-libs.jar -C $KYLIN_HOME/spark/jars/ .
hadoop fs -mkdir -p
2.4modelyarn
??wiki??
-- --
??: "Xiaoxiang Yu";
: 2019??8??14??(??)3:41
??: "user@kylin.apache.org";
:
2019-08-14T14:31:09,188 INFO [http-bio-7070-exec-7]
org.apache.kylin.cube.CubeManager - Updating cube instance
'kylin_sales_cube_clone_spark'
2019-08-14T14:31:09,188 INFO [http-bio-7070-exec-7]
org.apache.kylin.cube.CubeManager - Remove segment
据我所知，应该是在计算表中各列的基数，对后续build segment有帮主。
在 2019-08-14 14:15:07，"向伟靖" <865357...@qq.com> 写道：
|
你好，我想问一下2.4版本建立model的时候，会生成如图以下的yarn任务，这个任务的作用是？
|
??Kylin
-- --
??: "??"<865357...@qq.com>;
: 2019??8??15??(??) 12:03
??: "user";
:
设置了kylin.engine.spark-conf.spark.yarn.archive，我也很奇怪，看上去就是没有加载到spark-libs.jar。
## manually upload spark-assembly jar to HDFS and then set this property will
avoid repeatedly uploading jar at runtime
kylin.engine.spark-conf.spark.yarn.archive=hdfs://master:9000/kylin/spark/spark-libs.jar
$
11 matches
Mail list logo
