Re:Kylin3.1.3构建问题

2022-04-21 Thread Johnson
我这边环境是hbase 2.2,其他组件环境和你差不多。要不加个微信,方便及时沟通问题 At 2022-04-21 17:01:32, "黄奇" wrote: Hadoop:3.1.1 hive:3.1.0 Hbase:2.0.2 Zookeeper:3.4.6 Spark:2.3.0 I'm using apache-kylin-3.1.3-bin-hadoop3.tar.gz Hello everyone, has anyone had a similar problem with me? Is the Hbase version

Re:回复:kylin 404

2020-12-25 Thread Johnson
hi, Can you leave a WeChat ID,I'll try to help you solve the problem! 在 2020-12-25 16:38:00,"~夜的钢琴曲" <712679...@qq.com> 写道: I tried It's still not working. It's amazing thank you -- 原始邮件 -- 发件人: "user" <1091643...@qq.com>; 发送时间:

Re:Failed to read big resource /dict/KYLIN.HIVE_METRICS_QUERY_CUBE_QA/CUBE_NAME/xxx.dict

2020-08-10 Thread Johnson
Hi Shylin Zhang You can use "${KYLIN_HIME}/bin/metastore.sh remove /dict/KYLIN.HIVE_METRICS_JOB_QA/KUSER/d60c8ffc-c883-24d2-ec6b-c78fc963f8d7.dict" to delete this dict,it should work. At 2020-08-10 16:02:47, "shylinzhang" wrote: Hi Xiaoxiang, I met the issue agin and

Re:转发:If the source table structure changed in Hive, How should I cope with the model and cube which have been created for a time?

2020-06-08 Thread Johnson
Hi, 这个问题目前没有太好的解决办法,kylin不支持Online Schema Change。不过可以通过一些其他方式提高你的效率,可以参考我的做法哈: 1.使用hive中的视图(view),这样可以避免一部分表结构变更引起的问题(比如字段名修改之类的,只需改一下视图即可)。但是增加维度列无法避免。 2.使用rest api构建model/cube,可以批量操作。这样比在页面上点击构建效率要高太多了。 在 2020-06-08 09:21:44,"梅秋莹" <3281438...@qq.com> 写道: Hello everyone,

kylin超高基维查询奔溃

2020-03-08 Thread Johnson
最近构建了一个包含超高基维的cube,查询时直接 hbase 协处理器超时,sql如下:select sum(filesize)/1024/1024 fs ,path6 from impala_monitor.V_MONITOR_HDFS_INFO where par_dt = '2020-03-06' group by path6 order by fs desc limit 100 。 path6 这个维度 基数在10亿+。大家在处理这种超高基维度时有什么优化吗? 报错: org.apache.hadoop.hbase.DoNotRetryIOException:

Re:Re: kylin创建cube和model失败

2019-12-17 Thread Johnson
be through rest api, there is nothing in web ui, but you can find errors in kylin.log. In my case, the json had some unknow problem. Can you provide your json file? codingfor...@126.com 于2019年12月17日周二 下午3:19写道: Hi, Johnson, can you reproduce this error? 在 2019年12月17日,14:19,Johnson 写道: 今天我

Re:Re: kylin创建cube和model失败

2019-12-17 Thread Johnson
e json had some unknow problem. Can you provide your json file? codingfor...@126.com 于2019年12月17日周二 下午3:19写道: Hi, Johnson, can you reproduce this error? 在 2019年12月17日,14:19,Johnson 写道: 今天我使用rest api创建model和cube,创建完成后,kylin web ui找不到刚刚创建的model和cube,之后再次执行脚本创建,查看

kylin创建cube和model失败

2019-12-16 Thread Johnson
今天我使用rest api创建model和cube,创建完成后,kylin web ui找不到刚刚创建的model和cube,之后再次执行脚本创建,查看日志: Caused by: org.apache.kylin.rest.exception.BadRequestException: The cube named 'kpi_000135_base' already exists. at org.apache.kylin.rest.service.CubeService.createCubeAndDesc(CubeService.java:215)

Re:Re: kylin多个子查询嵌套导致查询速度严重变慢(几十秒)

2019-12-02 Thread Johnson
非常感谢您的回复,您的意思是所有模型都做成大宽表的形式(但是这样join的功能就感觉形同虚设)。但是实际业务场景,不可避免多个cube的子查询结果进行join。 我的疑惑是为什么这些子查询不能并行的去执行?串行的话确实很慢。 再次感谢您的回复! 在 2019-11-30 18:19:19,"ShaoFeng Shi" 写道: Hi Johnson, This is a good observation. For a single cube's query, Kylin can dispatch that to HBase for i

when query,load/remove dict 耗时严重的问题

2019-11-20 Thread Johnson
hi,all 最近我在追查慢查询的问题:发现在查询的时候加载dict耗时很长,而且为什么会在查询的时候删除某些系统cube的dict,耗时多达10s,严重影响查询速度 Dict with resource path /dict/KYLIN.HIVE_METRICS_QUERY_RPC_QA/KDAY_DATE/8a4b4c8f-2e81-3ec3-74f1-95dad914745b.dict is removed due to SIZE 如图:

kylin多个子查询嵌套导致查询速度严重变慢(几十秒)

2019-11-15 Thread Johnson
由于前端需要将多个指标合并展示,故查询kylin时,一个sql可能会嵌套多个多个子查询。生产环境发现,子查询严重影响查询速度。大家知道什么优化方法吗? 测试如下: 1.计算活跃设备 select count(distinct deviceid) dad from KYLIN_VIEW.KYLIN_VIEW_T_DWA_ACT_XXX_DEVICE_ACTIVE where par_dt>='2019-06-01' and par_dt<='2019-11-15' group by par_dt 2.计算活跃用户 select g.par_dt,count(distinct

Re:when set dim A to mandatory,can't find cuboid only contain dim A

2019-10-29 Thread Johnson
sorry,the configuration “kylin.cube.aggrgroup.is-mandatory-only-valid:true” may not be in effect ,after I restart KYLIN again,and rebuild cube ,it works。 At 2019-10-29 20:51:25, "Johnson" wrote: hi,all: I found a problem,when set dim A to mandatory,can't find cuboid only co

when set dim A to mandatory,can't find cuboid only contain dim A

2019-10-29 Thread Johnson
hi,all: I found a problem,when set dim A to mandatory,can't find cuboid only contain dim A,example: dim:A,B,C ; mandatory:A ;rowkey order A B C when build success,exists cube combination:AB(110),AC(101),ABC(111),why A(100) not exists? I looked at the source code,found this configuration: I

load hive table操作,多kylin节点不一致的问题

2019-10-11 Thread Johnson
hi,all: kylin version 2.6.2;三台节点,角色分别为:all ,query ,query。查询时使用代理到三台节点。 今天出现一个问题,我使用restapi load hive table,POST /kylin/api/tables/{tables}/{project} ,请求的是kylin all节点,然后我在all节点上创建model和cube,之后build

Re:Re: kylin构建cube过程中,连接hbase超时问题

2019-10-10 Thread Johnson
Hi Yaqian: Thank you very much,I will try。 在 2019-10-10 16:07:30,"Yaqian Zhang" 写道: Hi Johnson: You can set the parameters “kylin.metadata.hbase-rpc-timeout” to modify the timeout, the default value is 5000ms. 在 2019年10月10日,15:10,Johnson 写道: kylin:2.6.2,HBase 1.2.0

Re:kylin构建cube过程中,连接hbase超时问题

2019-10-10 Thread Johnson
I modified hbase-site.xml: hbase.rpc.timeout 60 hbase.client.operation.timeout 60 在 2019-10-10 15:10:10,"Johnson" 写道: kylin:2.6.2,HBase 1.2.0-cdh5.15.0 The error occurred in #3 Step Name: Extract Fact Table Distinct Columns error log: java.lang.Runtim

kylin构建cube过程中,连接hbase超时问题

2019-10-10 Thread Johnson
kylin:2.6.2,HBase 1.2.0-cdh5.15.0 The error occurred in #3 Step Name: Extract Fact Table Distinct Columns error log: java.lang.RuntimeException: org.apache.kylin.job.exception.PersistentException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=1, exceptions: Thu

Rest Api “Load Hive Tables ”Return 405

2019-09-30 Thread Johnson
hi,all I call the API “Load Hive Tables” according to the official document and return 405 result:

Details about “Extract Fact Table Distinct Columns and Build Dimension Dictionary”

2019-08-30 Thread Johnson
Hi,all: I want to know the details of these two steps:Extract Fact Table Distinct Columns and Build Dimension Dictionary。What do these steps do and how to do? looking forward to your reply -- Best wishes, Johnson

Re:Re: Failed to read big resource /dict/xxxx

2019-08-30 Thread Johnson
Hi Xiaoxiang, Thank you for all the help you have given me . Your assistance has been invaluable to me during this process. Again, thank you so much ! Best wishes, Johnson 在 2019-08-30 18:27:50,"Xiaoxiang Yu" 写道: Hi Johnson, After offline com

Re: Failed to read big resource /dict/xxxx

2019-08-29 Thread Johnson
. You can check your hdfs permission. Otherwise, you may show us more information about your situation like your working scene. --- Best wishes, Rupeng Wang 发件人: Johnson 答复: "user@kylin.apache.org" 日期: 2019年8月29日星期四 10:49 收件人: "user@kylin.apache.org"

Failed to read big resource /dict/xxxx

2019-08-28 Thread Johnson
hi,大家好, 今天发现一个失败的任务,失败在#4 Step Name: Build Dimension Dictionary 报错信息如下:之后我把这个任务drop掉,重新构建还是一直报这个错,大家知道怎么解决吗 org.apache.kylin.engine.mr.exception.HadoopShellException: java.lang.RuntimeException: java.io.IOException: Failed to read big resource

Re:Kylin2.4版本建立model的时候,会生成一个如图以下的yarn任务,它的作用是?

2019-08-14 Thread Johnson
据我所知,应该是在计算表中各列的基数,对后续build segment有帮主。 在 2019-08-14 14:15:07,"向伟靖" <865357...@qq.com> 写道: | 你好,我想问一下2.4版本建立model的时候,会生成如图以下的yarn任务,这个任务的作用是? |

为什么kylin查询时,大量的请求落到了hbase同一个region server上。

2019-07-30 Thread Johnson
hi,大家好: 今天查看hbase集群的request,无意中发现某一个region server的请求比其他节点多很多,如下图。然后多次在kylin进行查询试验,发现总是同一个region server的request数最多。于是查看 查询命中的cube对应时间的segment,都是分散在各个region server上的,很不解为什么会这样,而且kylin的meta表也不在该节点上,没理由这个节点这么高的请求。询问了群里另一名同学,他验证后也发现了同样的现象。 希望和大家共同讨论下这个问题。 kylin 版本:2.6.2 期待大家的回复

Re:Re: kylin2.6.2 web ui 界面明显卡顿感

2019-06-04 Thread Johnson
lling path of HBaseResourceStore. Best wishes, Xiaoxiang Yu 发件人: Johnson 答复: "user@kylin.apache.org" 日期: 2019年6月4日星期二 17:49 收件人: "user@kylin.apache.org" 主题: kylin2.6.2 web ui 界面明显卡顿感 之前使用kylin2.3,web ui 界面很流畅,加载cube、model、job列表很流畅。这几天测试kylin2.6.2,web界面卡顿感很明显,是什么原因呢

kylin2.6.2 web ui 界面明显卡顿感

2019-06-04 Thread Johnson
之前使用kylin2.3,web ui 界面很流畅,加载cube、model、job列表很流畅。这几天测试kylin2.6.2,web界面卡顿感很明显,是什么原因呢

Re:Re:cube build succeed,but query error

2019-03-26 Thread Johnson
Hi, Thanks for your reply HBase version 1.2.0-cdh5.15.0 在 2019-03-27 13:08:05,"nichunen" 写道: Hi, What's your hbase version? -- Best regards, Ni Chunen / George At 2019-03-27 10:51:32, "Johnson" wrote: hi, I encountered a problem,cube build succ

cube build succeed,but query error

2019-03-26 Thread Johnson
hi, I encountered a problem,cube build succeed,but query error。UnknownProtocolException: No registered coprocessor service found for name CubeVisitService in region I used the following command,but it didn't work。kylin version:2.3.1 ,CHD5.15。 $KYLIN_HOME/bin/kylin.sh