imbajin commented on code in PR #501: URL: https://github.com/apache/hugegraph-doc/pull/501#discussion_r4111702266
########## content/cn/docs/quickstart/computing/_index.md: ########## @@ -4,13 +4,33 @@ linkTitle: "图计算（OLAP）" weight: 4 --- -HugeGraph-Computer 仓库包含两套 OLAP 系统：Go 实现的内存图计算平台 Vermeer，以及 Java 实现的分布式 BSP 框架 Computer。 +HugeGraph-Computer 仓库包含两套部署和运行方式不同的图计算系统。通用图算法任务默认建议从 Go Vermeer 开始；需要 Java BSP/Pregel 分布式计算模型时，请使用 Computer。两者都可接入 HugeGraph，但配置和作业入口不能互换。 -> DeepWiki 提供实时更新的项目文档，内容更全面准确，适合快速了解项目最新情况。 -> -> 📖 [https://deepwiki.com/apache/hugegraph-computer/](https://deepwiki.com/apache/hugegraph-computer/) +### 默认入口：Go Vermeer -- [Vermeer 快速入门](./hugegraph-vermeer.md) -- [Computer 快速入门](./hugegraph-computer/) +```mermaid +flowchart TB + Master["Master"] --> Workers["Workers"] + Master -->|PD| PD["PD"] + Workers -->|扫描| Store["Store"] + Workers -.->|REST| Server["Server"] +``` + +当 `load_type=hugegraph` 时，Vermeer Master 通过 PD 查询分区元数据，Workers 直接扫描 HStore Store 分区。仅当 `output.type=hugegraph` 时，Workers 才通过 Server REST API 写回结果；其他数据源或输出配置不需要对应连接。 Review Comment: Fixed in `20f6f4a`: the computing overview now uses Vermeer’s registered `load.type` option. ########## content/cn/docs/quickstart/computing/hugegraph-computer.md: ########## @@ -1,241 +1,206 @@ --- -title: "HugeGraph-Computer Quick Start" +title: "HugeGraph-Computer 快速开始" linkTitle: "使用 Computer 进行 OLAP 分析" weight: 2 search_keywords: [HugeGraph Computer, 图计算, OLAP] search_boost: 1.6 --- -## 1 HugeGraph-Computer 概述 +## 1. 组件说明 -[`HugeGraph-Computer`](https://github.com/apache/hugegraph-computer) 是分布式图处理系统 (OLAP). 它是 [Pregel](https://kowshik.github.io/JPregel/pregel_paper.pdf)的一个实现。它可以运行在 Kubernetes(K8s)/Yarn 上。(它侧重可支持百亿~千亿的图数据量下进行图计算, 会使用磁盘进行排序和加速, 这是它和 Vermeer 相对最大的区别之一) +[`HugeGraph-Computer`](https://github.com/apache/hugegraph-computer) 是基于 BSP（Bulk Synchronous Parallel，批量同步并行）模型的 Java 分布式图计算框架，算法按超步迭代运行。它可由 Kubernetes Operator 或 YARN 调度，也可在单机上启动 master 和 worker 进程进行小规模试跑。 -### 特性 +它与同一仓库中的 Vermeer 是两套实现：Computer 使用 Java/BSP 运行时，面向分布式计算；Vermeer 是 Go 实现的内存图计算平台，采用 master-worker 结构。两者共享 HugeGraph 数据源，但部署和任务配置不能互换。 -- 支持分布式 MPP 图计算，集成 HugeGraph 作为图输入输出存储。 -- 算法基于 BSP(Bulk Synchronous Parallel) 模型，通过多次并行迭代进行计算，每一次迭代都是一次超步。 -- 自动内存管理。该框架永远不会出现 OOM（内存不足），因为如果它没有足够的内存来容纳所有数据，它会将一些数据拆分到磁盘。 -- 边的部分或超级节点的消息可以在内存中，所以你永远不会丢失它。 -- 您可以从 HDFS 或 HugeGraph 或任何其他系统加载数据。 -- 您可以将结果输出到 HDFS 或 HugeGraph，或任何其他系统。 -- 易于开发新算法。您只需要像在单个服务器中一样专注于仅顶点处理，而不必担心消息传输和内存存储管理。 +Computer 支持从 HugeGraph 或 HDFS 读取图数据，并可将结果写回 HugeGraph 或 HDFS。运行时可把部分数据溢写到磁盘；能否完成任务仍取决于输入规模、资源和配置，不应把溢写能力理解为不受资源限制。 -## 2 依赖 +## 2. 前置条件与连接 -### 2.1 安装 Java 11 (JDK 11) +构建和运行需要 JDK 11 或更高版本。源码构建还需要 Maven 3.5 或更高版本。PageRank 示例要求一个已启动且包含待计算图数据的 HugeGraph-Server，以及可供 master、worker 访问的 etcd。 -**必须**在 ≥ `Java 11` 的环境上启动 `Computer`，然后自行配置。 +| 服务 | 示例地址或端口 | 用途 | +|------|----------------|------| +| HugeGraph-Server | `http://127.0.0.1:8080` | 读取图数据并写回算法结果；以 `hugegraph.url` 为准。 | +| etcd | `http://127.0.0.1:2379` | BSP 作业协调；以 `bsp.etcd_endpoints` 为准。 | +| Computer master RPC | TCP `8190` | worker 连接 master；发行配置中的端口。 | +| Computer worker 数据传输 | 本地默认由系统分配；K8s Operator 默认 `8099` | worker 之间传输顶点和消息。跨主机时需保证公告地址和端口可达。 | +| MinIO（K8s 清单） | HTTP `9000` | 用于输入分区快照；清单会部署服务，作业默认 `snapshot.write=false`、`snapshot.load=false`，不启用快照时不需要作业访问它。 | Review Comment: Fixed in `20f6f4a`: the page documents the 1.7.0 Service `targetPort` mismatch and shows how to route the Service to MinIO’s S3 API on port 9000 before enabling snapshots. -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
