please try to communicate in English... 2015-08-12 15:18 GMT+08:00 liangmeng <[email protected]>:
> 3000w太小case了,我给你一个我们的案例吧: > 50节点 > 每天60亿条 > 5张维表,8个维度 > 其中有一个维度数据是千万级的,其他维度都是几万到几十万级别 > 跑一天数据大概200分钟吧; > > 主要耗时在: > 1、从hive表抽取数据,这一步因为我们限制了hive只能使用整个集群的10%资源,所以相对较慢,用了大概1小时; > 2、cube最后生成hbase的hfile,用了大概1个多小时 > 其他的汇聚时间差不多也是1小时多点吧; > > > > 梁猛 > 中国移动广东公司 网管维护中心 网管支撑室 > 电话:13802880779 > 邮箱: [email protected] ,[email protected] > 地址:广东省广州市珠江新城珠江西路11号 广东全球通大厦北3楼 > 邮编:510623 > > 发件人: 李刚 > 发送时间: 2015-08-12 14:19 > 收件人: dev > 主题: kylin 性能问题 > > 你好 > 你们有测试过kylin的性能吗?我们有每天3000w条记录,需要进行合并,生成魔方,供前端查询使用,生成完数据时间应该不能很长,大概在3小时内,请问kylin > 能胜任吗?你们实测的记录是什么样的? > -- Regards, *Bin Mahone | 马洪宾* Apache Kylin: http://kylin.io Github: https://github.com/binmahone
