?????? ??????????xenserver ????????

2015-05-19 文章 ????????
bridge,??OVS??XS6.2?? -- -- ??: ??;874413...@qq.com; : 2015??5??20??(??) 9:48 ??: users-cnusers-cn@cloudstack.apache.org; : ?? ??xenserver

回复: 回复: 虚拟机启动应用软件时间长

2015-05-13 文章 yanghu
普通sata盘 做raid 10也可以 iops能比但单块sata盘好 Add:苏州工业园区中新大道西171号 平台官网:www.snail.com 企业官网:about.snail.com 请关注蜗牛新浪官方微博:http://weibo.com/woniushuzi 本邮件及其附件所载内容可能含有保密信息并受法律保护,任何人切勿传播、分发、复制、印刷或使用本邮件之任何部分或其所载之任何内容。若您误收本邮件,请通知发件人,并删除原始邮件、附件及其所有复本。 This email (including any attachments) is confidential,

????: ????????????????????????

2015-05-13 文章 20400...@qq.com
??NFSSSD100M/s ?? ?? 2015-05-13 14:13 cloudstack ?? cloudstack4.4.2+xenserver6.2 SP1

查找用户用户

2015-05-13 文章 yanghu
我想查找 用户 删除 项目名称 的日志, 请问 可以从 哪里去找? 感谢! Add:苏州工业园区中新大道西171号 平台官网:www.snail.com 企业官网:about.snail.com 请关注蜗牛新浪官方微博:http://weibo.com/woniushuzi 本邮件及其附件所载内容可能含有保密信息并受法律保护,任何人切勿传播、分发、复制、印刷或使用本邮件之任何部分或其所载之任何内容。若您误收本邮件,请通知发件人,并删除原始邮件、附件及其所有复本。 This email (including any attachments) is

回复: 答复: cloudstack + xenserver 平台使用何种分布式存储最好???

2015-05-13 文章 xuetong
大侠,您好!我想问一下 如何使用iSCSI作为Ceph块存储协议转换?您可以说的稍微具体一些吗? 非常感谢! 跪拜! 本邮件及其附件所载内容可能含有保密信息并受法律保护,任何人切勿传播、分发、复制、印刷或使用本邮件之任何部分或其所载之任何内容。若您误收本邮件,请通知发件人,并删除原始邮件、附件及其所有复本。 This email (including any attachments) is confidential, may be legally privileged and is for the intended recipient only. Access,

如果加上data卷就不能启动

2015-05-12 文章 20400...@qq.com
我有20及个VM。凡是带有root+data卷的都不能启动,但是带有root卷的都能启动。有management-server.log和catalina.out management-server的日志如下: 2015-05-11 17:44:40,984 DEBUG [cloud.api.ApiServlet] (catalina-exec-2:null) ===START=== 192.168.30.15 -- GET

答复: cloudstack + xenserver 平台使用何种分布式存储最好???

2015-05-12 文章 Star Guo
Xenserver目前底层支持NFS, iSCSI, FC存储,如果你一定要使用分布式存储,可以考 虑NFS + Gluster,或者使用iSCSI作为Ceph块存储协议转换. Best Regards, Star Guo -邮件原件- 发件人: xuetong [mailto:xuet...@snailgame.net] 发送时间: 2015年5月13日 13:23 收件人: users-cn 主题: cloudstack + xenserver 平台使用何种分布式存储最好??? 各位大侠,请教一个问题。cloudstack + xenserver

cloudstack + xenserver 平台使用何种分布式存储最好???

2015-05-12 文章 xuetong
各位大侠,请教一个问题。cloudstack + xenserver 平台使用何种分布式存储最好??? 感谢各位大侠赐教! 本邮件及其附件所载内容可能含有保密信息并受法律保护,任何人切勿传播、分发、复制、印刷或使用本邮件之任何部分或其所载之任何内容。若您误收本邮件,请通知发件人,并删除原始邮件、附件及其所有复本。 This email (including any attachments) is confidential, may be legally privileged and is for the intended recipient only. Access,

SSVM CPVM不能启动

2015-05-12 文章 pcy4656822
2015-05-12 23:19:26,033 DEBUG [c.c.c.CapacityManagerImpl] (Work-Job-Executor-77:ctx-aa417e41 job-4/job-92 ctx-08a1e966) VM state transitted from :Starting to Stopped with event: OperationFailedvm's original host id: null new host id: null host id before state transition: null 2015-05-12

Re: cloudstack中如何在zone中的物理网络里 添加某一个ip地址段

2015-05-11 文章 Wei ZHOU
你是从2.2.14升级的吗? 在 2015年5月7日 上午5:10,xuetong xuet...@snailgame.net写道: 各位前辈、大侠: 我是苏州的cloudstack忠实粉丝。现 我有一个很棘手的问题需要请教。 关于高级网络配置, 在 cloudstack中,无法在zone中的物理网络里 添加某一个ip地址段, 例如,这个物理网络里已经存在两行记录: 第一行:网关 172.180.10.1 子网掩码 255.255.255.0 VLAN 200 开始IP 172.180.10.80 结束IP 172.180.10.90 第一行:网关

Re: Re: cloudstack中如何在zone中的物理网络里 添加某一个ip地址段

2015-05-10 文章 Hongtu Zang
你问了,肯定会有回复的。 如果我不会,别人也会回复的 在 2015年5月8日 下午3:35,xuetong xuet...@snailgame.net写道: 大侠,您好! 这个问题,您可以提供帮助吗? 本邮件及其附件所载内容可能含有保密信息并受法律保护,任何人切勿传播、分发、复制、印刷或使用本邮件之任何部分或其所载之任何内容。若您误收本邮件,请通知发件人,并删除原始邮件、附件及其所有复本。 This email (including any attachments) is confidential, may be legally privileged and is

Re: Re: cloudstack中如何在zone中的物理网络里 添加某一个ip地址段

2015-05-08 文章 xuetong
大侠,您好! 这个问题,您可以提供帮助吗? 本邮件及其附件所载内容可能含有保密信息并受法律保护,任何人切勿传播、分发、复制、印刷或使用本邮件之任何部分或其所载之任何内容。若您误收本邮件,请通知发件人,并删除原始邮件、附件及其所有复本。 This email (including any attachments) is confidential, may be legally privileged and is for the intended recipient only. Access, disclosure, copying, distribution, or

Re: 如何在cloudstack中的数据库中添加一个公网网段

2015-05-07 文章 Hongtu Zang
不建议直接操作DB,直接插DB会绕过很多检测和判断。 可能会导致不可预测的风险 在 2015年5月7日 下午1:40,xuetong xuet...@snailgame.net写道: 各位大侠: 您好! 我有个问题请教,如何在cloudstack中的数据库中添加一个公网网段? 例如 我需要将 网关117.123.18.1 子网掩码 255.255.255.0 VLAN 200 开始IP 117.123.18.100 结束IP 117.123.18.150 这一条数据添加到cloudstack中的ZONE里面的物理网络的IDC-CESHI-46这一项目中, 如何

cloudstack中如何在zone中的物理网络里 添加某一个ip地址段

2015-05-06 文章 xuetong
各位前辈、大侠: 我是苏州的cloudstack忠实粉丝。现 我有一个很棘手的问题需要请教。 关于高级网络配置, 在 cloudstack中,无法在zone中的物理网络里 添加某一个ip地址段, 例如,这个物理网络里已经存在两行记录: 第一行:网关 172.180.10.1 子网掩码 255.255.255.0 VLAN 200 开始IP 172.180.10.80 结束IP 172.180.10.90 第一行:网关 172.180.10.1 子网掩码 255.255.255.0 VLAN 200 开始IP 172.180.10.100 结束IP

Re: Re: cloudstack中如何在zone中的物理网络里 添加某一个ip地址段

2015-05-06 文章 xuetong
但是之前那两行是可以添加进去的啊。 只是不知道如何添加的 本邮件及其附件所载内容可能含有保密信息并受法律保护,任何人切勿传播、分发、复制、印刷或使用本邮件之任何部分或其所载之任何内容。若您误收本邮件,请通知发件人,并删除原始邮件、附件及其所有复本。 This email (including any attachments) is confidential, may be legally privileged and is for the intended

Re: Re: cloudstack中如何在zone中的物理网络里 添加某一个ip地址段

2015-05-06 文章 Hongtu Zang
你可以把你现有的private和Public Network都发出来,大家看一下是否哪里有冲突。 在 2015年5月7日 上午11:43,xuetong xuet...@snailgame.net写道: 但是之前那两行是可以添加进去的啊。 只是不知道如何添加的 本邮件及其附件所载内容可能含有保密信息并受法律保护,任何人切勿传播、分发、复制、印刷或使用本邮件之任何部分或其所载之任何内容。若您误收本邮件,请通知发件人,并删除原始邮件、附件及其所有复本。 This email (including any attachments) is

Re: 我是新手,新装cs 4.4。2无法添加kvm主机至cs中 Unable to add the host

2015-05-06 文章 Hongtu Zang
1、management Server需要执行cloud-setup-management,kvm需要执行cloud-setup-agent 2、8250没连上,可能是management Server的防火墙原因,把防火墙先关掉试试看 2015-04-25 13:01 GMT+08:00 惠宾 hui...@qq.com: client装了吗?-- 原始邮件 -- 发件人: 韩登hand...@126.com 发送时间: 2015年4月25日(星期六) 中午12:06 收件人:

如何在cloudstack中的数据库中添加一个公网网段

2015-05-06 文章 xuetong
各位大侠: 您好! 我有个问题请教,如何在cloudstack中的数据库中添加一个公网网段? 例如 我需要将 网关117.123.18.1 子网掩码 255.255.255.0 VLAN 200 开始IP 117.123.18.100 结束IP 117.123.18.150 这一条数据添加到cloudstack中的ZONE里面的物理网络的IDC-CESHI-46这一项目中, 如何 通过cloudstack 数据库执行该操作? 求大侠指教! 致敬!

回复: cloudstack整合已有vcenter问题

2015-05-03 文章 wangyuyang1...@163.com
cloudstack默认是不管原有的虚拟机的,你可以修改cloudstack代码实现! wangyuyang1...@163.com 发件人: 董升平 发送时间: 2015-05-04 11:01 收件人: users-cn 主题: cloudstack整合已有vcenter问题 各位高手: 我们是山东省云计算中心,想通过cloudstack整合已有vcenter集群和herpv,因为虚机是生成环境,并且数量较多,所以只能这么处理,所以请问各位如何可以让cloudstack认出vCenter已有的虚机? 此致 董升平

cloudstack整合已有vcenter问题

2015-05-03 文章 董升平
各位高手: 我们是山东省云计算中心,想通过cloudstack整合已有vcenter集群和herpv,因为虚机是生成环境,并且数量较多,所以只能这么处理,所以请问各位如何可以让cloudstack认出vCenter已有的虚机? 此致 董升平

回复: cloudstack整合已有vcenter问题

2015-05-03 文章 yan_5...@163.com
已经有人手动实现了这个功能,并申请了专利。 个人不建议在重要的生产环境这样搞,设计到存储、网络等一些问题,比较复杂,需要对CloudStack和vmware有较深的研究,有足够把握才能搞。 如果只是管理现有vCenter上的虚机,个人倒是建议再封装一层,做个portal,调用vCenter API 管理vcenter上的虚机 PS:不可以直接将现有vCenter加入到CloudStack中,可能现有的一些虚机会被删掉 济南 崔行兵 E-mail:yan_5...@163.com 发件人: 董升平 发送时间: 2015-05-04 11:01 收件人: users-cn 主题:

我是新手,新装cs 4.4。2无法添加kvm主机至cs中 Unable to add the host

2015-04-24 文章 冷雨
打扰了,我最近在进行服务器虚拟化集中管理平台选型,现安装了cs 4.4.2版,主机为kvm(基于CentOS 6.5 x86_x64)。现在部署过程中碰到一些问题,想请帮我一下: 现在cs与kvm主机均已装好,但通过http://cloudstack-server-IP:8080/client登录后添加主机时总是报“Unable to add the host”,尝试数次均如此。期间做了如下尝试: 1、将cs与kvm 主机分开安装(本来是合在一起的) 2、重装cs与kvm主机 我根据网上搜索到的资料看了一些后台日志,但没看出问题。

Re: 我是新手,新装cs 4.4。2无法添加kvm主机至cs中 Unable to add the host

2015-04-24 文章 韩登
检查一下个各主机的host文件是否都完整正确 On 04/25/2015 12:01, 冷雨 wrote: 打扰了,我最近在进行服务器虚拟化集中管理平台选型,现安装了cs 4.4.2版,主机为kvm(基于CentOS 6.5 x86_x64)。现在部署过程中碰到一些问题,想请帮我一下: 现在cs与kvm主机均已装好,但通过http://cloudstack-server-IP:8080/client登录后添加主机时总是报“Unable to add the host”,尝试数次均如此。期间做了如下尝试: 1、将cs与kvm 主机分开安装(本来是合在一起的)

cloudstack4.0.2????????????????

2015-04-20 文章 ??????
kvm+centOS+cloudstack4.0.2 java.lang.ClassNotFoundException: org.apache.jsp.index_jsp java.net.URLClassLoader$1.run(URLClassLoader.java:217) java.security.AccessController.doPrivileged(Native Method)

请问基于KVM,可以用ISO自行制作模板吗? cloudstack 用的是4.4.2

2015-04-19 文章 秦广义
请问基于KVM,可以用ISO自行制作模板吗? cloudstack 用的是4.4.2 gqin

Re:CloudStack4.4.2+Hyper-v,系统虚拟机无法启动

2015-04-19 文章 秦广义
请问基于KVM,可以用ISO自行制作模板吗? cloudstack 用的是4.4.2 在 2015-04-14 16:07:43,liufei68...@gmail.com liufei68...@gmail.com 写道: 有没有大神遇到过这样的问题,分享一下心得!非常感谢! 环境是CloudStack4.4.2+Hyper-v,出现故障是系统虚拟机无法启动,以下是日志: Sending cmd to https://192.168.10.8:8250/api/HypervResource/com.cloud.agent.api.StopCommand cmd

Re: 关于虚拟路由器的问题

2015-04-15 文章 崔佳
多谢Darren Tang 问题已解决 是路由器下的dhcp服务没启动 登进去启动就好了 2015-04-15 16:42 GMT+08:00 崔佳 cui6522...@gmail.com: 日志我转存到其他磁盘上了~ 但我迁移了之后,日志都不输出了 从df 命令上来看的话 磁盘空间还有 日志一直不输出了... 2015-04-15 16:38 GMT+08:00 Darren Tang darrentang...@gmail.com: 应该是虚拟路由器空间满了。

Re: 关于虚拟路由器的问题

2015-04-15 文章 Darren Tang
应该是虚拟路由器空间满了。 通过console登录到虚拟路由器看看/var下面的空间是否满了,清理下就行了。 2015-04-15 16:30 GMT+08:00 崔佳 cui6522...@gmail.com: 我的虚拟路由器重启过一次,并更改了下系统方案,我自定义的 现在的问题是自从重启后,我无法新添加实例了~~添加就报如下错误 - 2015-04-15

关于虚拟路由器的问题

2015-04-15 文章 崔佳
我的虚拟路由器重启过一次,并更改了下系统方案,我自定义的 现在的问题是自从重启后,我无法新添加实例了~~添加就报如下错误 - 2015-04-15 15:12:53,502 DEBUG [agent.manager.AgentManagerImpl] (AgentManager-Handler-4:null) SeqA 2-4128765: Processing Seq

CloudStack4.4.2+Hyper-v,系统虚拟机无法启动

2015-04-14 文章 liufei68...@gmail.com
有没有大神遇到过这样的问题,分享一下心得!非常感谢! 环境是CloudStack4.4.2+Hyper-v,出现故障是系统虚拟机无法启动,以下是日志: Sending cmd to https://192.168.10.8:8250/api/HypervResource/com.cloud.agent.api.StopCommand cmd data:{isProxy:false,executeInSequence:false,checkBeforeCleanup:false,vmName:s-240-VM,contextMap:{},wait:0} 2015-04-14

??????ssvm????????????

2015-04-14 文章 ????????
IP?? ??IP mysql update op_dc_ip_address_alloc set nic_id=NULL,reservation_id=NULL,taken=NULL where id=1; ??cloudstack??zonedisable

ssvm自动反复重建

2015-04-14 文章 Zhong Qiang
hi all: Q1:管理类IP地址已被全部用掉(实际才用4/11),且系统没释放任何空闲的IP出来。该怎么解决? Q2: SSVM不停的启动失败后重建,这个是不是导致了Q1,从而没ip分配又无法启动? Management-server.log: 2015-04-14 15:42:00,626 WARN [o.a.c.s.SecondaryStorageManagerImpl] (secstorage-1:ctx-58e7b4f0) Exception while trying to start

系统虚机状态running了,但是Agent state 没显示? 求助大神

2015-04-09 文章
建完区域后两个系统虚机状态running了,但是Agent state 这一栏只显示-(正常应该是up状态)? 又谁遇到过这问题吗 谢谢了‍? 环境:cs4.4.2 kvm 基本网络 management-server又做存储nfs server. 谢谢了!

Re: Re: 来宾网络 疑惑

2015-04-08 文章 张能钦
不好意思,图片在附件 张能钦 发件人: zanghongtu2...@gmail.commailto:zanghongtu2...@gmail.com 发送时间: 2015-04-08 15:13 收件人: users-cnmailto:users-cn@cloudstack.apache.org 主题: Re: 来宾网络 疑惑 图片显示不出来 可以发log hongtu_zang 发件人: 张能钦 发送时间: 2015-04-08 14:10 收件人: users-cn 主题: 来宾网络 疑惑 大家好,

关于 VRouter 在一定负载下 nat 转发失效的问题

2015-04-08 文章 ech...@gmail.com
大家好。 最近遇见一个问题: 我有四台虚机作为一个集群,接受前端通过 F5分发过来的数据请求。 因为四台虚机的公网地址实际上是配置在 VRouter 上,在四台虚机和 F5之间,VRouter 负责将报文通过 nat 转发给后端对应的虚机进行处理。 我遇到的问题是,在这种一台 VRouter 的情况下, F5分发过来的请求数量达到20w/s 的时候,VRouter 就死了,在这个 VRouter 下面所有挂载的虚机就全部失联了。但是在这个时候,VRouter 的 cpu、内存、带宽都离满负荷有一定的差距。 我想请教各位有没有遇到过相同的现象,是否有好的解决方法,还请不吝指教。

Re: 关于 VRouter 在一定负载下 nat 转发失效的问题

2015-04-08 文章 hand...@126.com
登陆到vrouter里看看高负载时里面进程什么情况 On Apr 8, 2015, at 4:33 PM, ech...@gmail.com ech...@gmail.com wrote: 大家好。 最近遇见一个问题: 我有四台虚机作为一个集群,接受前端通过 F5分发过来的数据请求。 因为四台虚机的公网地址实际上是配置在 VRouter 上,在四台虚机和 F5之间,VRouter 负责将报文通过 nat 转发给后端对应的虚机进行处理。 我遇到的问题是,在这种一台 VRouter 的情况下, F5分发过来的请求数量达到20w/s 的时候,VRouter

Re: 关于_VRouter在一定负载下_nat转发失效的问题

2015-04-08 文章 贝为标
echohn,您好! F5直接分发到虚拟机不行吗? === 2015-04-08 16:33:53 您在来信中写道:=== 大家好。 最近遇见一个问题: 我有四台虚机作为一个集群,接受前端通过 F5分发过来的数据请求。 因为四台虚机的公网地址实际上是配置在 VRouter 上,在四台虚机和 F5之间,VRouter 负责将报文通过 nat 转发给后端对应的虚机进行处理。 我遇到的问题是,在这种一台 VRouter 的情况下, F5分发过来的请求数量达到20w/s 的时候,VRouter 就死了,在这个 VRouter

不能删除网络

2015-04-07 文章 张能钦
大家好,我发现我的网络配置错了,就在面板里面删除网络,但是报错,请帮忙看下可以从哪里开始排除 [cid:_Foxmail.1@81785fd5-f64b-3d01-2470-700e85989501] [cid:_Foxmail.1@d99df21c-dd13-1190-3552-0d32dcec39c0] [cid:_Foxmail.1@cd307178-371b-d8fb-f236-c26f738ccce5] 张能钦

Re: 不能删除网络

2015-04-07 文章 zanghongtu2...@gmail.com
看不到图片 hongtu_zang zanghongtu2...@gmail.com Beijing China 发件人: 张能钦 发送时间: 2015-04-07 17:50 收件人: users-cn 主题: 不能删除网络 大家好,我发现我的网络配置错了,就在面板里面删除网络,但是报错,请帮忙看下可以从哪里开始排除 张能钦

Re: How to migrate foreign VM to CloudStack

2015-04-07 文章 Fedi Ben Ali
Hello Johnny, To do it properly you should convert all your VM's to templates ,add then add them to cloudstack and finally you create vm 'sfrom these templates. But if you wont an out of the box solution you should make changes on the source code , i've worked on such solution on xenserver and

回复: 求自动安装脚本

2015-04-07 文章 slywbomhfe
slywbomhfe 发件人: xiaoxiaobai...@163.com 发送时间: 2015-04-08 11:50 收件人: cs中文专家; cs中文组 主题: 求自动安装脚本 请问哪位大神有完整的cloudstack自动安装脚本,麻烦提供下,谢谢 xiaoxiaobai...@163.com

求自动安装脚本

2015-04-07 文章 xiaoxiaobai...@163.com
请问哪位大神有完整的cloudstack自动安装脚本,麻烦提供下,谢谢 xiaoxiaobai...@163.com

Re: 求自动安装脚本

2015-04-07 文章 贝为标
xiaoxiaobai_cs,您好! 为什么要自动安装脚本? 安装1个小时,调试1个月,脚本能节省多少时间? === 2015-04-08 11:49:30 您在来信中写道:=== 请问哪位大神有完整的cloudstack自动安装脚本,麻烦提供下,谢谢 xiaoxiaobai...@163.com = = = = = = = = = = = = = = = = = = = = 致 礼!   

回复: How to migrate foreign VM to CloudStack

2015-04-06 文章 zanghongtu2...@gmail.com
You can only modify the cloudstack soucecode and build a new version. hongtu_zang zanghongtu2...@gmail.com Beijing China 发件人: JohnnyZhao 发送时间: 2015-04-06 13:13 收件人: users-cn@cloudstack.apache.org 主题: How to migrate foreign VM to CloudStack Dear Sir: I have some questions about how to migrate

Re:在ubuntu1410上安装cloudstack,却出现了这个一个问题,帮助解决一下。

2015-04-06 文章 lzd
是一个bug,在5.5以上的mysql中的就适应了。用下面的更新版本替换后即可! https://github.com/apache/cloudstack/blob/c368d3b6eeb41efe508bb0d3e0abe3a4ca5bb8e2/setup/db/create-schema-premium.sql At 2015-04-05 09:10:26, lzd ito...@163.com wrote:

Re: 新手求解

2015-04-05 文章 张勇
你好,我是一名学生,在自学cloudstack,遇到了以下问题。 我在vmware workstation上安装了一个centos6.5(desktop版本)(上面安装了cloudstack- management),一个centos6.5(minimal版本)(当作存储器),一个xenserver6.2(计算节点), 三者的网络由nat改为了桥接,在基础架构中zone,pod,cluster设置好了,但是host不能连接,是alert状态,主存储添加没反应, 辅助存储也正常。 2015-04-05 20:39:19,327 INFO [c.c.a.m.AgentManagerImpl]

Re: 新手求解

2015-04-05 文章 st...@ceph.me
如果你在虚拟机测试,必须使用桥接网络或者内部网络。 来自 魅蓝 note 原始邮件 发件人:张勇 largey...@gmail.com 时间:周日 4月5日 15:32 收件人:users-cn@cloudstack.apache.org 主题:新手求解 你好,我是一名学生,在自学cloudstack,遇到了以下问题。 我在vmware workstation上安装了一个centos6.5(desktop版本)(上面安装了cloudstack

新手求解

2015-04-05 文章 张勇
你好,我是一名学生,在自学cloudstack,遇到了以下问题。 我在vmware workstation上安装了一个centos6.5(desktop版本)(上面安装了cloudstack management),一个centos6.5(minimal版本)(当作存储器),一个xenserver6.2(计算节点),三者的网络都是nat方式,在基础架构中zone,pod,cluster设置好了,但是host不行,是alert状态,辅助存储也正常,主存储不能添加。 信息可能描述不清,忘见谅。

Re: 新手求解

2015-04-05 文章 张勇
你好,我是一名学生,在自学cloudstack,遇到了以下问题。 我在vmware workstation上安装了一个centos6.5(desktop版本)(上面安装了cloudstack management),一个centos6.5(minimal版本)(当作存储器),一个xenserver6.2(计算节点), 三者的网络由nat改为了桥接,在基础架构中zone,pod,cluster设置好了,但是host不行,是alert状态,主存储不能添加, 辅助存储也正常。是不是还需要设置什么? 信息可能描述不清,忘见谅。 2015-04-05 16:04 GMT+08:00

Re: Re: FC做主存储

2015-04-03 文章 张能钦
thanks,谢谢 张能钦 发件人: HellCatmailto:qss_3...@qq.com 发送时间: 2015-04-03 17:20 收件人: users-cnmailto:users-cn@cloudstack.apache.org 主题: Re: FC做主存储 把主存储挂在所有的计算节点,同理iSCSi的也一样‍ -- Original -- From: 张能钦;zhan...@yanxintec.com; Date: Fri,

FC做主存储

2015-04-03 文章 张能钦
用FC来做主存储 是把主存储挂在所有的计算节点还是 管理节点,还是挂在在所有的机器上 都没有这方面的资料啊 感谢解答!

Re: FC做主存储

2015-04-03 文章 HellCat
把主存储挂在所有的计算节点,同理iSCSi的也一样‍ -- Original -- From: 张能钦;zhan...@yanxintec.com; Date: Fri, Apr 3, 2015 05:18 PM To: 张能钦zhan...@yanxintec.com; users-cnusers-cn@cloudstack.apache.org; Subject: FC做主存储 用FC来做主存储 是把主存储挂在所有的计算节点还是 管理节点,还是挂在在所有的机器上 都没有这方面的资料啊 感谢解答!

Re: Re: 无法通过UI访问VM console

2015-04-02 文章 Zhong Qiang
那问题又来了?10.10.0.0/24可以访问cloud web ui --192.168.122.150:8080/client 我作了端口映射到8080; P1:该如何设置物理机的iptables,使10网段能通过web访问vm console呢?映射哪个IP呢(CPVM?VM?Server?)?这里的端口又是多少呢? 在 2015年4月2日 下午3:09,Zhong Qiang xiaoqiang3...@gmail.com写道: 是我最外层的物理主机iptables限制了 在 2015年4月2日 下午3:07,Zhong Qiang

回复: 回复: 重启实例后实例内数据消失的问题

2015-04-02 文章 jinyue....@criwell.com
kvm vm 为centos6.5. 发件人: zanghongtu2...@gmail.com 发送时间: 2015-04-02 15:20 收件人: users-cn 主题: 回复: 重启实例后实例内数据消失的问题 没遇到过这种问题。 你的hyperviser和guest vm分别是什么系统? zanghongtu2...@gmail.com 发件人: jinyue@criwell.com 发送时间: 2015-04-02 15:18 收件人: users-cn 主题: 重启实例后实例内数据消失的问题 大家好,

Re: Re: 无法通过UI访问VM console

2015-04-02 文章 Zhong Qiang
是我最外层的物理主机iptables限制了 在 2015年4月2日 下午3:07,Zhong Qiang xiaoqiang3...@gmail.com写道: 找到原因了: 1. 从192.168.122.0/24访问web然后访问console没问题 2. 从10.10.0.0/24访问web再访问console出问题,因为我用的是kvm nested kvm,宿主机有个10.10.0.0网段的接口,通过iptables把192网段web映射出来了。 在 2015年4月2日 下午2:53,Zhong Qiang

Re: 无法通过UI访问VM console

2015-04-02 文章 Zhong Qiang
刚从网上搜到的信息: CPVM工作流程 1.用户发起请求到mgmt server,查看web console,mgmt server选择合适的CPVM,返回public ip 2.用户浏览器访问CPVM 3.CPVM向mgmt server 发请求进行验证 4.验证通过,CPVM访问VM所在的hypervisor对应的端口,获取console信息 5.经CPVM转换成浏览器可接受的格式,返回用户浏览器图像数据 P1:#2中访问的是CPVM的什么端口? P2:#4中访问的是hypervisor的什么端口呢?

Re: Re: 无法通过UI访问VM console

2015-04-02 文章 Zhong Qiang
找到原因了: 1. 从192.168.122.0/24访问web然后访问console没问题 2. 从10.10.0.0/24访问web再访问console出问题,因为我用的是kvm nested kvm,宿主机有个10.10.0.0网段的接口,通过iptables把192网段web映射出来了。 在 2015年4月2日 下午2:53,Zhong Qiang xiaoqiang3...@gmail.com写道: 通过ui无法打开cpvm console,但通过kvm主机virsh console cpvm可以访问 在 2015年4月2日

重启实例后实例内数据消失的问题

2015-04-02 文章 jinyue....@criwell.com
大家好, 最近遇到了如下问题,点击网页中的重启实例,发现实例中的数据消失(与重装实例的效果一样)。如果再实例中执行reboot命令,则数据不会消失。

Re: Re: 无法通过UI访问VM console

2015-04-02 文章 Zhong Qiang
通过ui无法打开cpvm console,但通过kvm主机virsh console cpvm可以访问 在 2015年4月2日 下午2:47,shaofeng.ch...@gamil.com shaofeng.ch...@gmail.com写道: 你试下可以打开cpvm的console么 shaofeng.ch...@gamil.com 发件人: Zhong Qiang 发送时间: 2015-04-02 14:38 收件人: users-cn 主题: Re: 无法通过UI访问VM console 刚从网上搜到的信息: CPVM工作流程 1.

Re: 回复: 重启实例后实例内数据消失的问题

2015-04-02 文章 贝为标
zanghongtu2006,您好! 你可能看错了吧?是重启还是重置? === 2015-04-02 15:23:15 您在来信中写道:=== 没遇到过这种问题。 你的hyperviser和guest vm分别是什么系统? zanghongtu2...@gmail.com 发件人: jinyue@criwell.com 发送时间: 2015-04-02 15:18 收件人: users-cn 主题: 重启实例后实例内数据消失的问题 大家好,

Re: Re: 无法通过UI访问VM console

2015-04-02 文章 shaofeng.ch...@gamil.com
你试下可以打开cpvm的console么 shaofeng.ch...@gamil.com 发件人: Zhong Qiang 发送时间: 2015-04-02 14:38 收件人: users-cn 主题: Re: 无法通过UI访问VM console 刚从网上搜到的信息: CPVM工作流程 1.用户发起请求到mgmt server,查看web console,mgmt server选择合适的CPVM,返回public ip 2.用户浏览器访问CPVM 3.CPVM向mgmt server 发请求进行验证 4.

Re: 无法通过UI访问VM console

2015-04-02 文章 hand...@126.com
两个办法试试: 1、把cpvm删掉试试 2、把host上的iptables关闭试试 On Apr 2, 2015, at 2:53 PM, Zhong Qiang xiaoqiang3...@gmail.com wrote: 通过ui无法打开cpvm console,但通过kvm主机virsh console cpvm可以访问 在 2015年4月2日 下午2:47,shaofeng.ch...@gamil.com shaofeng.ch...@gmail.com写道: 你试下可以打开cpvm的console么

管理节点负载均衡

2015-04-02 文章 张能钦
在官网里面看管理节点的 负载均衡 。它没有讲都能用什么啊,就用lvs或者haproxy或者nginx那种可以吗?谢谢 HA for Management Server The CloudStack Management Server should be deployed in a multi-node configuration such that it is not susceptible to individual server failures. The Management Server itself (as distinct from the MySQL database)

回复: 重启实例后实例内数据消失的问题

2015-04-02 文章 zanghongtu2...@gmail.com
没遇到过这种问题。 你的hyperviser和guest vm分别是什么系统? zanghongtu2...@gmail.com 发件人: jinyue@criwell.com 发送时间: 2015-04-02 15:18 收件人: users-cn 主题: 重启实例后实例内数据消失的问题 大家好, 最近遇到了如下问题,点击网页中的重启实例,发现实例中的数据消失(与重装实例的效果一样)。如果再实例中执行reboot命令,则数据不会消失。

?????? ????: Re: ??????????????????????????????

2015-04-02 文章 Mr.??
ISOISO??ISO??ISO?? -- -- ??: hand...@126.com;hand...@126.com; : 2015??4??2??(??) 5:56 ??:

cs对kvm的支持

2015-04-02 文章 Zhong Qiang
有几个疑问,请大家帮忙解答: 1. kvm是hypervisor,已创建了VM01并可以正常运行,但当我增加服务方案2cpu2Gram,并应用到VM01始终 无法生效; 2. 基于此服务方案,重新创建一个虚拟机VM02也失败; 是不是基于KVM,CS无法提供服务方案的变更和应用的支持呢?还是可以通过修改配置,使#1,#2应用成功呢?谢谢!

????: ????: ??????????????????????????????

2015-04-02 文章 jinyue....@criwell.com
??ISO Mr.?? ?? 2015-04-03 08:37 users-cn ?? ?? : Re: ?? ISOISO??ISO??ISO??

Re: Re: 管理节点负载均衡

2015-04-02 文章 张能钦
好的,明白了,谢谢 张能钦 发件人: Lily Liangmailto:qiying.li...@citrix.com 发送时间: 2015-04-03 11:53 收件人: users-cn@cloudstack.apache.orgmailto:users-cn@cloudstack.apache.org 主题: Re: 管理节点负载均衡 Hi Zhang, 开源的负载均衡方案均可以的,您可参考以下文档:

Re: 管理节点负载均衡

2015-04-02 文章 Lily Liang
Hi Zhang, 开源的负载均衡方案均可以的,您可参考以下文档: http://www.severalnines.com/blog/how-deploy-high-availability-cloudstackcloudplatform-mariadb-galera-cluster https://www.citrix.com/content/dam/citrix/en_us/documents/oth/cloudplatform-deployment-reference-architecture.pdf Regards, Lily Liang On

storage.overprovisioning.factor参数意义

2015-04-01 文章 toudsf
如果把存储的storage.overprovisioning.factor 参数设置为超配。 有什么实际意义了?谢谢。 2015-04-01 toudsf

Re: storage.overprovisioning.factor参数意义

2015-04-01 文章 zanghongtu2...@gmail.com
可以按你设置的比例进行超配。 因为某些文件系统中,存储的大小并非一次性分配,而是随着使用而增长 这样就可以尽量多的使用当前存储空间来分配vm zanghongtu2...@gmail.com 发件人: toudsf 发送时间: 2015-04-01 18:23 收件人: users-cn 主题: storage.overprovisioning.factor参数意义 如果把存储的storage.overprovisioning.factor 参数设置为超配。 有什么实际意义了?谢谢。 2015-04-01 toudsf

Re: xen Server 管理机IP无法启动了

2015-04-01 文章 Lily Liang
Hi Jia, 生产环境下对数据库操作请先备份数据库,可参考以下命令: #mysqldump cloud cloud.sql Thanks and regards, Lily Liang Technical Support Engineer Email: qiying.li...@citrix.com On 4/2/15, 10:54 AM, 崔佳 cui6522...@gmail.com wrote: 多谢~我尝试操作一下 2015-04-01 13:15 GMT+08:00 Lily Liang qiying.li...@citrix.com:

Re: xen Server 管理机IP无法启动了

2015-04-01 文章 崔佳
了解~~~非常感谢 我发现这个现象不是经常出现的对么? 我正式环境是这样了 但测试环境,我模拟了几遍都没出现 比较纠结 2015-04-02 10:58 GMT+08:00 Lily Liang qiying.li...@citrix.com: Hi Jia, 生产环境下对数据库操作请先备份数据库,可参考以下命令: #mysqldump cloud cloud.sql Thanks and regards, Lily Liang Technical Support Engineer Email: qiying.li...@citrix.com

Re: 打开控制台窗口,一直显示黑屏,过一会超时,查看cpvm的日志,报错信息:error occurred in connecting to socket [AprSocketWrapper(socket)] ERROR: Cannot make SSL handshake with server(104): error:00000000:lib(0):func(0):reason(0)

2015-03-31 文章 Yitao Jiang
默认流量是通过https进行通信的,如果是内网不太需要这种安全的的话,可以将secstorage.encrypt.copy 改为false​ 试试 --- Thanks, Yitao(依涛 姜) jiangyt.github.io On Tue, Mar 31, 2015 at 3:49 PM, shaofeng.ch...@gamil.com shaofeng.ch...@gmail.com wrote: 大家好!! 打开控制台窗口,一直显示黑屏,过一会超时,查看cpvm的日志, 报错信息:error occurred in

Re: CS日志时间和系统时间一致

2015-03-31 文章 Yitao Jiang
cs 的时间是通过java取的时间。​ --- Thanks, Yitao(依涛 姜) jiangyt.github.io 2015-03-31 10:35 GMT+08:00 shaofeng.ch...@gamil.com shaofeng.ch...@gmail.com: 大家好! 在修改了系统时区后,如何让CS的日志时间和系统时间一致? 尝试过,重置数据库 重新安装 cloudstack-common-4.4.2-NONOSS_1.el6.x86_64

打开控制台窗口,一直显示黑屏,过一会超时,查看cpvm的日志,报错信息:error occurred in connecting to socket [AprSocketWrapper(socket)] ERROR: Cannot make SSL handshake with server(104): error:00000000:lib(0):func(0):reason(0)

2015-03-31 文章 shaofeng.ch...@gamil.com
大家好!! 打开控制台窗口,一直显示黑屏,过一会超时,查看cpvm的日志, 报错信息:error occurred in connecting to socket [AprSocketWrapper(socket)] ERROR: Cannot make SSL handshake with server(104): error::lib(0):func(0):reason(0) 具体日志如下,辛苦了,多谢!! [BEGIN] 2015/3/26 15:56:37 2015-03-26

xen Server 管理机IP无法启动了

2015-03-31 文章 崔佳
同学们: 请教下如下几个问题: 首先我的环境是,cs4.2.0 ,xenserver 6.2.0,遇到如下几个问题,请各位指教 1. 宿主机服务器重启后,管理机IP显示已经满了,导致虚拟路由器无法启动了 [image: 内嵌图片 1] 2. 我的虚拟主机无法启动,proxy vm总是提示无法启动,重启之前都是正常的, 通过网上查找了几个原因,可能是内存不足,但明显不是这个问题, 还会有其他问题么? [image: 内嵌图片 2] 附具体报错信息: 2015-03-31 18:27:29,613 DEBUG [db.Transaction.Transaction]

Re: cs4.3.2支持版本问题

2015-03-31 文章 Lily Liang
Hi , 关于不同版本CS支持的hypervisor以及对应版本,可通过以下方法查看: 1. Web UI 中 global setting - hypervisor supportability 2. 在db中查看相应数据: SELECT * FROM cloud.hypervisor_capabilities; 希望对您有帮助。 Thanks and regards, Lily Liang On 4/1/15, 11:27 AM, zh903137...@126.com zh903137...@126.com wrote: Hi,

答复: cs4.3.2支持版本问题

2015-03-31 文章 张能钦
id: 13 uuid: 13 hypervisor_type: KVM hypervisor_version: default max_guests_limit: 50 security_group_enabled: 1 max_data_volumes_limit: 6 max_hosts_per_cluster: NULL storage_motion_supported: 0 vm_snapshot_enabled: 0

cs4.3.2支持版本问题

2015-03-31 文章 zh903137...@126.com
Hi, 大家好,cs4.3.2支持vsphere5.1和5.5么? zh903137...@126.com

Re: xen Server 管理机IP无法启动了

2015-03-31 文章 Lily Liang
Hi Jia, 问题一:Management ip 用完了,可使用以下命令释放: update cloud.op_dc_ip_address_alloc set nic_id=NULL, reservation_id=NULL,taken=NULL where ip_address not in (SELECT ip4_address FROM cloud.nics where reserver_name='PodBasedNetworkGuru' and ip4_address is not NULL and removed is NULL);

搭建CS的几个问题,请帮忙解决

2015-03-29 文章 rainyling...@126.com
Hi,您好! 我现在自己搭建了一套CS测试环境,遇到了如下问题,请帮忙解决,谢谢! Q1:如何正确的迁移CPVM、SSVM、VR等系统虚机(不会丢失配置文件等)? 比如,我的环境里原有主存储pri01,现在新加了pri02;由于pri01性能不好,想将原来开在pri01的系统虚机全部迁移到pri02,然后从CS将pri01移除。禁用pri01主存储,CS会自动迁移系统虚机,但是迁移的只是vmdk,而一些vmx等配置文件不会一并迁移到新的存储(我的虚拟化用的vmware),当旧的主存储被移除后系统虚机将启动失败。

回复: 搭建CS的几个问题,请帮忙解决

2015-03-29 文章 zanghongtu2...@gmail.com
Q1:修改计算方案之后,破坏掉重建 Q2:可以用,但是不安全 Q3:VMware网卡有个混杂模式,看看是否开启。vlan ID是不是配置对了。网络环境里面,物理网卡是不是对应的。 Q4:只能你实际测试一下了 zanghongtu2...@gmail.com 发件人: rainyling...@126.com 发送时间: 2015-03-30 11:16 收件人: users-cn 主题: 搭建CS的几个问题,请帮忙解决 Hi, 您好! 我现在自己搭建了一套CS测试环境,遇到了如下问题,请帮忙解决,谢谢!

回复: 答复: 打开虚拟机控制台, cp vm log error:error occurred in initializing rdp client null

2015-03-26 文章 shaofeng.ch...@gamil.com
非常抱谦,已更换为中文 问题有解么?各位兄弟,辛苦了,多谢!! shaofeng.ch...@gamil.com 发件人: 张能钦 发送时间: 2015-03-26 16:47 收件人: users-cn@cloudstack.apache.org 主题: 答复: open vm console, cp vm log error:error occurred in initializing rdp client null 好好说话 -邮件原件- 发件人: shaofeng.ch...@gamil.com

open vm console, cp vm log error:error occurred in initializing rdp client null

2015-03-26 文章 shaofeng.ch...@gamil.com
HI,ALL open vm console in chrome,throw faile: Access is denied for the console session. Please close the window and retry again test cpvm network: ping public ip and private ip is ok. check cpvm log /var/log/cloud.log throw error:error occurred in

答复: open vm console, cp vm log error:error occurred in initializing rdp client null

2015-03-26 文章 张能钦
好好说话 -邮件原件- 发件人: shaofeng.ch...@gamil.com [mailto:shaofeng.ch...@gmail.com] 发送时间: 2015年3月26日 16:48 收件人: users-cn 主题: open vm console, cp vm log error:error occurred in initializing rdp client null HI,ALL open vm console in chrome,throw faile: Access is denied for the console

实例不能连接到公用网络

2015-03-25 文章 zb1019095...@163.com
环境:centos6.5+cloudstack4.4 实例的ip:10.1.1.234,网管10.1.1.1 虚拟路由:公共网络ip:10.0.0.103,内网Ip:10.1.1.1 在高级网络模式下创建好实例并装好系统后,发现实例能ping通网管10.1.1.1,但是无法平通10.0.0.103, ssh到虚拟路由中,虚拟路由能正常ping通实例及外网 现象就好像是虚拟路由的路由功能没工作一样,看了一下iptables里的规则是正常的 请问一下如何解决? zb1019095...@163.com

回复: 实例不能连接到公用网络

2015-03-25 文章 yanghu
1 防火墙那边看看 转发规则看下 2 不行就重启下 虚拟路由 Snail 蜗牛数字 杨虎/IDC经理/全球运维中心 CUIZI/Senior Manager/Brand Center TEL: +86(512)67671313 FAX:+86(512)67671231 Mobile: +86(0)18550298161 Email: yan...@snailgame.net Add:苏州工业园区中新大道西171号 平台官网:www.snail.com

回复: Re: 两个系统VM在web ui中看到一直在创建-启动-删除,一直不停的循环

2015-03-24 文章 zb1019095...@163.com
删除后依旧。 zb1019095...@163.com 发件人: hand...@126.com 发送时间: 2015-03-25 10:07 收件人: users-cn@cloudstack.apache.org 主题: Re: 两个系统VM在web ui中看到一直在创建-启动-删除,一直不停的循环 cpvm删掉,重新创建一下 On Mar 25, 2015, at 10:05 AM, zb1019095...@163.com zb1019095...@163.com wrote: 两个系统VM能看到正常启动,但是在web

hyper-v 虚拟机控制台无法打开

2015-03-24 文章 程少锋
大家好!! 我在win2012 r2上 cp vm运行正常,公用IP和专用IP可正常ping通,但是在CS上,虚拟机控制台无法正常打开。 错误:Access is denied for the console session. Please close the window and retry again hyper-v agent的版本是4.4.3 CS版本是4.4.2 此问题可有解,辛苦了!! -- name: 程少锋 phone:13925096693 E-mail:shaofeng.cheng 用心合作,真诚沟通

两个系统VM在web ui中看到一直在创建-启动-删除,一直不停的循环

2015-03-24 文章 zb1019095...@163.com
两个系统VM能看到正常启动,但是在web ui中vnc无法连接查看,提示超时,有什么原因导致呢? libvirt和qemu的配置已经照着官网文档的确认过几次配置无误了。 iptables里也尝试过删除所有规则,允许所有流量通过了。 日志里看不出原因。 搭建环境:Centos6.5+cloudstack4.4.2,高级网络模式 管理端和agent端在同一台电脑上,有两张网卡,管理流量和guest流量走cloudbr0,公共流量走cloudbr1。cloudbr0和cloudbr1所在交换机端口均设置为trunk型,cloudbr0允许guest范围内的vlan id通过,

Re: 两个系统VM在web ui中看到一直在创建-启动-删除,一直不停的循环

2015-03-24 文章 hand...@126.com
cpvm删掉,重新创建一下 On Mar 25, 2015, at 10:05 AM, zb1019095...@163.com zb1019095...@163.com wrote: 两个系统VM能看到正常启动,但是在web ui中vnc无法连接查看,提示超时,有什么原因导致呢? libvirt和qemu的配置已经照着官网文档的确认过几次配置无误了。 iptables里也尝试过删除所有规则,允许所有流量通过了。 日志里看不出原因。 搭建环境:Centos6.5+cloudstack4.4.2,高级网络模式

Re: Re: 两个系统VM在web ui中看到一直在创建-启动-删除,一直不停的循环

2015-03-24 文章 evanitsharp
底层用的什么虚拟化平台,看起来是主机Agent没连上。 Alex 中航信华东数据中心有限责任公司 Mail:evanitsh...@gmail.com 发件人: Wei ZHOU 发送时间: 2015-03-24 15:30 收件人: users-cn 主题: Re: 两个系统VM在web ui中看到一直在创建-启动-删除,一直不停的循环 下载template了吗? 2015-03-24 8:17 GMT+01:00 zb1019095...@163.com zb1019095...@163.com: 两个系统VM在web

答复: 系统虚拟机agent state一直为空

2015-03-24 文章 Star Guo
Hi, 请问你是使用基础网络,还是高级网络? 如果你要使用高级网络,按照规范你要 配置在xenserver上面配置两个网络:管理网络和guset/public网络,前者access mode 后者trunk mode。 Best Regards, Star Guo -邮件原件- 发件人: 姜卫东 [mailto:jiang.weid...@foxmail.com] 发送时间: 2015年3月23日 19:01 收件人: users-cn 主题: 系统虚拟机agent state一直为空 看到邮件的朋友你们好:

Re: 两个系统VM在web ui中看到一直在创建-启动-删除,一直不停的循环

2015-03-24 文章 Wei ZHOU
下载template了吗? 2015-03-24 8:17 GMT+01:00 zb1019095...@163.com zb1019095...@163.com: 两个系统VM在web ui中看到一直在创建-启动-删除,一直不停的循环,日志如下,求解如何解决。 2015-03-24 15:14:57,720 ERROR [c.c.v.VmWorkJobDispatcher] (Work-Job-Executor-11:ctx-585af7eb job-43/job-220) Unable to complete AsyncJobVO {id:220, userId: 1,

??????????agent state????????

2015-03-23 文章 ??????
?? cloudstack??xenserver ?? ??agent state?? ??Ping timeout for host 1 ?? 1. vlan 20??access

如何才能显示ip-菜鸟问题

2015-03-23 文章 fan...@asiainfo.com
如何才能显示ip 配置都正常,就是网络里面木有ip,我看网上教程都是里面有ip地址才能配置NAT、firewall 求教~ fan...@asiainfo.com

如何打开NAT、防火墙、负载均衡的网络服务

2015-03-18 文章 fan...@asiainfo.com
点击获取新IP时报的错误信息 fan...@asiainfo.com

Re: 答复: cs网络的理解

2015-03-17 文章 Zhong Qiang
hi, 看到4.4官方管理文档中提到: *Remote access VPN is not supported in VPC networks.* 但此处 https://blogs.apache.org/cloudstack/entry/announcing_apache_cloudstack_4_3 有说: * Remote access VPN for VPC networks - CloudStack's remote access VPN is now available for Virtual Private Cloud

primary storage 的容量被翻倍了

2015-03-17 文章 zb1019095...@163.com
想问一下,主存储是nfs挂载的一个2tb硬盘,理论上在web ui上看到primary storage应该是1.79tb才对 ,但是实际上看到的是3.58tb,翻倍了。 求问一下是什么原因导致的呢? zb1019095...@163.com

<    1   2   3   4   5   6   7   8   9   10   >