我这边环境是hbase 2.2,其他组件环境和你差不多。要不加个微信,方便及时沟通问题
At 2022-04-21 17:01:32, "黄奇" wrote:
Hadoop:3.1.1
hive:3.1.0
Hbase:2.0.2
Zookeeper:3.4.6
Spark:2.3.0
I'm using apache-kylin-3.1.3-bin-hadoop3.tar.gz
Hello everyone, has anyone had a similar problem with me? Is the Hbase version
hi,
Can you leave a WeChat ID,I'll try to help you solve the problem!
在 2020-12-25 16:38:00,"~夜的钢琴曲" <712679...@qq.com> 写道:
I tried It's still not working. It's amazing
thank you
-- 原始邮件 --
发件人: "user" <1091643...@qq.com>;
发送时间:
Hi Shylin Zhang
You can use "${KYLIN_HIME}/bin/metastore.sh remove
/dict/KYLIN.HIVE_METRICS_JOB_QA/KUSER/d60c8ffc-c883-24d2-ec6b-c78fc963f8d7.dict"
to delete this dict,it should work.
At 2020-08-10 16:02:47, "shylinzhang" wrote:
Hi Xiaoxiang,
I met the issue agin and
Hi,
这个问题目前没有太好的解决办法,kylin不支持Online Schema Change。不过可以通过一些其他方式提高你的效率,可以参考我的做法哈:
1.使用hive中的视图(view),这样可以避免一部分表结构变更引起的问题(比如字段名修改之类的,只需改一下视图即可)。但是增加维度列无法避免。
2.使用rest api构建model/cube,可以批量操作。这样比在页面上点击构建效率要高太多了。
在 2020-06-08 09:21:44,"梅秋莹" <3281438...@qq.com> 写道:
Hello everyone,
最近构建了一个包含超高基维的cube,查询时直接 hbase 协处理器超时,sql如下:select sum(filesize)/1024/1024 fs
,path6 from impala_monitor.V_MONITOR_HDFS_INFO where par_dt = '2020-03-06'
group by path6 order by fs desc limit 100 。
path6 这个维度 基数在10亿+。大家在处理这种超高基维度时有什么优化吗?
报错:
org.apache.hadoop.hbase.DoNotRetryIOException:
be through rest api,
there is nothing in web ui, but you can find errors in kylin.log. In my case,
the json had some unknow problem. Can you provide your json file?
codingfor...@126.com 于2019年12月17日周二 下午3:19写道:
Hi, Johnson, can you reproduce this error?
在 2019年12月17日,14:19,Johnson 写道:
今天我
e json had some unknow problem. Can you provide your json file?
codingfor...@126.com 于2019年12月17日周二 下午3:19写道:
Hi, Johnson, can you reproduce this error?
在 2019年12月17日,14:19,Johnson 写道:
今天我使用rest api创建model和cube,创建完成后,kylin web ui找不到刚刚创建的model和cube,之后再次执行脚本创建,查看
今天我使用rest api创建model和cube,创建完成后,kylin web ui找不到刚刚创建的model和cube,之后再次执行脚本创建,查看日志:
Caused by: org.apache.kylin.rest.exception.BadRequestException: The cube named
'kpi_000135_base' already exists.
at
org.apache.kylin.rest.service.CubeService.createCubeAndDesc(CubeService.java:215)
非常感谢您的回复,您的意思是所有模型都做成大宽表的形式(但是这样join的功能就感觉形同虚设)。但是实际业务场景,不可避免多个cube的子查询结果进行join。
我的疑惑是为什么这些子查询不能并行的去执行?串行的话确实很慢。
再次感谢您的回复!
在 2019-11-30 18:19:19,"ShaoFeng Shi" 写道:
Hi Johnson,
This is a good observation. For a single cube's query, Kylin can dispatch that
to HBase for i
hi,all
最近我在追查慢查询的问题:发现在查询的时候加载dict耗时很长,而且为什么会在查询的时候删除某些系统cube的dict,耗时多达10s,严重影响查询速度
Dict with resource path
/dict/KYLIN.HIVE_METRICS_QUERY_RPC_QA/KDAY_DATE/8a4b4c8f-2e81-3ec3-74f1-95dad914745b.dict
is removed due to SIZE
如图:
由于前端需要将多个指标合并展示,故查询kylin时,一个sql可能会嵌套多个多个子查询。生产环境发现,子查询严重影响查询速度。大家知道什么优化方法吗?
测试如下:
1.计算活跃设备
select count(distinct deviceid) dad from
KYLIN_VIEW.KYLIN_VIEW_T_DWA_ACT_XXX_DEVICE_ACTIVE
where par_dt>='2019-06-01' and par_dt<='2019-11-15'
group by par_dt
2.计算活跃用户
select g.par_dt,count(distinct
sorry,the configuration “kylin.cube.aggrgroup.is-mandatory-only-valid:true” may
not be in effect ,after I restart KYLIN again,and rebuild cube ,it works。
At 2019-10-29 20:51:25, "Johnson" wrote:
hi,all:
I found a problem,when set dim A to mandatory,can't find cuboid only co
hi,all:
I found a problem,when set dim A to mandatory,can't find cuboid only contain
dim A,example:
dim:A,B,C ; mandatory:A ;rowkey order A B C
when build success,exists cube combination:AB(110),AC(101),ABC(111),why A(100)
not exists?
I looked at the source code,found this configuration:
I
hi,all:
kylin version 2.6.2;三台节点,角色分别为:all ,query ,query。查询时使用代理到三台节点。
今天出现一个问题,我使用restapi load hive table,POST /kylin/api/tables/{tables}/{project}
,请求的是kylin all节点,然后我在all节点上创建model和cube,之后build
Hi Yaqian:
Thank you very much,I will try。
在 2019-10-10 16:07:30,"Yaqian Zhang" 写道:
Hi Johnson:
You can set the parameters “kylin.metadata.hbase-rpc-timeout” to modify the
timeout, the default value is 5000ms.
在 2019年10月10日,15:10,Johnson 写道:
kylin:2.6.2,HBase 1.2.0
I modified hbase-site.xml:
hbase.rpc.timeout
60
hbase.client.operation.timeout
60
在 2019-10-10 15:10:10,"Johnson" 写道:
kylin:2.6.2,HBase 1.2.0-cdh5.15.0
The error occurred in #3 Step Name: Extract Fact Table Distinct Columns
error log:
java.lang.Runtim
kylin:2.6.2,HBase 1.2.0-cdh5.15.0
The error occurred in #3 Step Name: Extract Fact Table Distinct Columns
error log:
java.lang.RuntimeException: org.apache.kylin.job.exception.PersistentException:
org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after
attempts=1, exceptions:
Thu
hi,all
I call the API “Load Hive Tables” according to the official document and return
405
result:
Hi,all:
I want to know the details of these two steps:Extract Fact Table Distinct
Columns and Build Dimension Dictionary。What do these steps do and how to do?
looking forward to your reply
--
Best wishes,
Johnson
Hi Xiaoxiang,
Thank you for all the help you have given me . Your assistance has been
invaluable to me during this process. Again, thank you so much !
Best wishes,
Johnson
在 2019-08-30 18:27:50,"Xiaoxiang Yu" 写道:
Hi Johnson,
After offline com
. You can check your hdfs permission. Otherwise, you may show us
more information about your situation like your working scene.
---
Best wishes,
Rupeng Wang
发件人: Johnson
答复: "user@kylin.apache.org"
日期: 2019年8月29日星期四 10:49
收件人: "user@kylin.apache.org"
hi,大家好,
今天发现一个失败的任务,失败在#4 Step Name: Build Dimension Dictionary
报错信息如下:之后我把这个任务drop掉,重新构建还是一直报这个错,大家知道怎么解决吗
org.apache.kylin.engine.mr.exception.HadoopShellException:
java.lang.RuntimeException: java.io.IOException: Failed to read big resource
据我所知,应该是在计算表中各列的基数,对后续build segment有帮主。
在 2019-08-14 14:15:07,"向伟靖" <865357...@qq.com> 写道:
|
你好,我想问一下2.4版本建立model的时候,会生成如图以下的yarn任务,这个任务的作用是?
|
hi,大家好:
今天查看hbase集群的request,无意中发现某一个region
server的请求比其他节点多很多,如下图。然后多次在kylin进行查询试验,发现总是同一个region server的request数最多。于是查看
查询命中的cube对应时间的segment,都是分散在各个region
server上的,很不解为什么会这样,而且kylin的meta表也不在该节点上,没理由这个节点这么高的请求。询问了群里另一名同学,他验证后也发现了同样的现象。
希望和大家共同讨论下这个问题。
kylin 版本:2.6.2
期待大家的回复
lling path of HBaseResourceStore.
Best wishes,
Xiaoxiang Yu
发件人: Johnson
答复: "user@kylin.apache.org"
日期: 2019年6月4日星期二 17:49
收件人: "user@kylin.apache.org"
主题: kylin2.6.2 web ui 界面明显卡顿感
之前使用kylin2.3,web ui
界面很流畅,加载cube、model、job列表很流畅。这几天测试kylin2.6.2,web界面卡顿感很明显,是什么原因呢
之前使用kylin2.3,web ui
界面很流畅,加载cube、model、job列表很流畅。这几天测试kylin2.6.2,web界面卡顿感很明显,是什么原因呢
Hi,
Thanks for your reply
HBase version 1.2.0-cdh5.15.0
在 2019-03-27 13:08:05,"nichunen" 写道:
Hi,
What's your hbase version?
--
Best regards,
Ni Chunen / George
At 2019-03-27 10:51:32, "Johnson" wrote:
hi, I encountered a problem,cube build succ
hi, I encountered a problem,cube build succeed,but query
error。UnknownProtocolException: No registered coprocessor service found for
name CubeVisitService in region
I used the following command,but it didn't work。kylin version:2.3.1 ,CHD5.15。
$KYLIN_HOME/bin/kylin.sh
28 matches
Mail list logo