imbajin commented on code in PR #412: URL: https://github.com/apache/incubator-hugegraph-doc/pull/412#discussion_r2444643116
########## content/cn/docs/guides/toolchain-local-test.md: ########## @@ -0,0 +1,523 @@ +--- +title: "HugeGraph工具链本地测试指南" +linkTitle: "Toolchain本地测试" +weight: 7 +--- + +本指南旨在帮助开发者高效地在本地环境下运行 HugeGraph 工具链相关测试，涵盖各子项目的编译、依赖服务安装、测试与覆盖率报告生成等流程。 + +## 1. 前言与核心概念 + +### 1.1 核心依赖说明：HugeGraph Server + +在 HugeGraph 工具链的测试中，**HugeGraph Server 是绝大多数集成测试和功能测试的核心依赖**。它提供了图数据库的核心服务，工具链中的许多组件（如 Client、Loader、Hubble、Spark Connector、Tools）都需要与 Server 进行交互才能完成其功能并进行测试。因此，配置好 HugeGraph Server 正常运行是完整进行功能测试的前提，本指南将在下文介绍如何安装/构建HugeGraph Server。 + +### 1.2 测试套件类型解释 + +在 HugeGraph 工具链的测试中，您可能会遇到以下几种常见的测试套件类型： + +* **单元测试 (Unit Tests)**： + * **目标**：验证程序中最小可测试单元（通常是单个函数、方法或类）的正确性。通常不涉及外部依赖（如数据库、网络服务等） + +* **API 测试 (API Tests / ApiTestSuite)**： + * **目标**：验证程序对外提供API的正确性、稳定性和符合性。它们通常模拟客户端请求，与server进行交互，检查 API 的响应数据、处理机制是否符合预期。 + * **特点**：需要一个正在运行的服务端（如 HugeGraph Server）来响应 API 请求。 + + +* **功能测试 (Functional Tests / FuncTestSuite)**： + * **目标**：验证系统或组件的特定功能是否按照需求正常工作。用于模拟用户场景或业务流程，涉及多个组件的交互，是端到端的测试。 + * **特点**：执行时间相对较长，需要完整的系统环境（包括所有依赖服务）来运行，能够发现集成层面的问题。 + +## 2. 测试前准备 + +### 2.1 系统与软件要求 + +* **操作系统**：建议 Linux, macOS。Windows 平台请使用 WSL2。 +* **JDK**：>= 11。确保您的 `JAVA_HOME` 环境变量已正确配置。 +* **Maven**：建议 3.5 及以上。用于项目构建和依赖管理。 +* **Python**：>= 3.11（仅HugeGraph-Hubble 相关测试需用）。建议使用虚拟环境进行管理，以避免版本冲突。 + +### 2.2 克隆代码仓库 + +首先，您需要克隆 HugeGraph 工具链的源代码仓库： + +```bash +git clone https://github.com/${GITHUB_USER_NAME}/hugegraph-toolchain.git +cd hugegraph-toolchain +``` + +## 3. 部署测试环境 + +关于测试环境，由于HugeGraph Server 是绝大多数集成测试和功能测试的核心依赖，有关安装/构建 HugeGraph-Server，可参考访问 [社区版文档](https://hugegraph.apache.org/cn/docs/quickstart/hugegraph/hugegraph-server/)。在本测试指南中，我们会介绍通过脚本部署与通过docker部署两种方式。 + +重要提示： +* 推荐优先使用脚本进行本地部署 HugeGraph Server。 这种方式允许您通过指定 Git Commit ID 来精确控制 Server 版本，确保与您的工具链代码版本高度匹配，从而有效避免因接口或实现变动导致测试异常的问题。 + +* Docker 部署方式更适合快速启动一个默认配置的 HugeGraph Server，但在进行精细化的集成测试时，特别是当您的工具链代码依赖于特定 HugeGraph Server 版本的功能或修复时，Docker 镜像的版本滞后或默认配置可能导致测试不通过。当工具链代码与 HugeGraph Server 存在接口/实现变动时，Docker 部署的便捷性可能反而导致测试失败，此时推荐回退到脚本部署方式。 + +### 3.1 使用脚本快速部署测试环境（推荐） + +这种方式允许您从源代码编译和安装特定版本的 HugeGraph Server，确保测试环境与特定 HugeGraph Server 版本的一致性，这对于复现问题或验证兼容性至关重要。 + +#### 3.1.1 变量与参数 + +* **`$COMMIT_ID`** + * 指定 HugeGraph Server 源代码的 Git Commit ID。当您需要从源代码编译和安装特定版本的 HugeGraph Server 作为测试依赖时，会使用此变量,确保测试环境与特定 HugeGraph Server 版本的一致性，这对于复现问题或验证兼容性至关重要。使用时直接接作为参数传递给 install-hugegraph-from-source.sh 脚本。 + +* **`$DB_DATABASE` 与 `$DB_PASS`** + 指定 HugeGraph-Loader 进行 JDBC 测试时所连接的 MySQL 数据库名称与 root 用户密码。请作为参数传递给 `install-mysql.sh` 脚本，供 Loader 正常读写数据。 + +#### 3.1.2 执行流程 + +**安装并启动 HugeGraph Server** + +如果您选择手动安装，可以使用以下脚本来安装 HugeGraph Server。该脚本位于任意工具仓库的`/assembly/travis/` 目录下 +用于从指定 commit id 拉取 HugeGraph Server 源码、编译、解压并分别以 http/https 启动服务 +```bash +hugegraph-*/assembly/travis/install-hugegraph-from-source.sh $COMMIT_ID +``` + +* `$COMMIT_ID`：指定 HugeGraph Server 的 Git Commit ID。 +* 默认http占用端口为8080，https占用端口为8443，请确保其在server启动前未被占用。 + +**安装并启动Hadoop (HDFS)** (仅当运行 hugegraph-loader的HDFS 测试时需要)： +```bash +hugegraph-loader/assembly/travis/install-hadoop.sh +``` + +**安装并启动MySQL** (仅当运行 hugegraph-loader的JDBC 测试时需要)： +```bash +hugegraph-loader/assembly/travis/install-mysql.sh $DB_DATABASE $DB_PASS +``` + + +**健康性检查** + +```bash +curl http://localhost:8080/graphs +``` +若返回 `{"graphs":["hugegraph"]}`，则表示服务器已准备就绪，可以接收请求。 + +### 3.2 使用 Docker 部署测试环境 + +通过使用官方发布的 hugegraph-server Docker 镜像，您可以快速启动一个 HugeGraph Server。这种方式简化了测试环境的搭建、确保环境一致性并提高测试的可重复性。**然而，请注意，Docker 镜像可能不会及时更新到 HugeGraph Server 的最新开发版本。这意味着如果您的工具链代码依赖于 HugeGraph Server 的最新接口或功能，使用 Docker 镜像可能会导致兼容性问题。在这种情况下，建议使用脚本方式部署特定 `COMMIT_ID` 的 HugeGraph Server。** + +#### docker快速启动 + +```bash +docker run -itd --name=server -p 8080:8080 hugegraph/hugegraph:latest +``` + +快速启动一个内置了 RocksDB 的 Hugegraph server。满足大部分测试与toolchain组件运行的要求。 + +#### 示例 `docker-compose.yml` 文件 + +以下是一个示例 `docker-compose.yml` 文件，它定义了 HugeGraph Server、MySQL 和 Hadoop (HDFS) 服务。您可以根据实际测试需求进行调整。 + +```yaml +version: '3.8' + +services: + hugegraph-server: + image: hugegraph/hugegraph:latest # 可以替换为特定版本，或构建自己的镜像 + container_name: hugegraph-server + ports: + - "8080:8080" # HugeGraph Server HTTP 端口 + environment: + # 根据需要配置HugeGraph Server的参数，例如后端存储 + - HUGEGRAPH_SERVER_OPTIONS="-Dstore.backend=rocksdb" + volumes: + # 如果需要持久化数据或挂载配置文件，可以在这里添加卷 + # - ./hugegraph-data:/opt/hugegraph/data + healthcheck: + test: ["CMD-SHELL", "curl -f http://localhost:8080/graphs || exit 1"] + interval: 5s + timeout: 3s + retries: 5 + networks: + - hugegraph-net + + # 如果需要hugegraph-loader的JDBC测试，可以添加以下服务 + # mysql: + # image: mysql:5.7 + # container_name: mysql-db + # environment: + # MYSQL_ROOT_PASSWORD: ${DB_PASS:-your_mysql_root_password} # 从环境变量读取，或使用默认值 + # MYSQL_DATABASE: ${DB_DATABASE:-hugegraph_test_db} # 从环境变量读取，或使用默认值 + # ports: + # - "3306:3306" + # volumes: + # - ./mysql-data:/var/lib/mysql # 数据持久化 + # healthcheck: + # test: ["CMD", "mysqladmin", "ping", "-h", "localhost", "-p${DB_PASS:-your_mysql_root_password}"] + # interval: 5s + # timeout: 3s + # retries: 5 + # networks: + # - hugegraph-net + + # 如果需要hugegraph-loader的Hadoop/HDFS测试，可以添加以下服务 + # namenode: + # image: johannestang/hadoop-namenode:2.0.0-hadoop2.8.5-java8 + # container_name: namenode + # ports: + # - "0.0.0.0:9870:9870" + # - "0.0.0.0:8020:8020" + # environment: + # - CLUSTER_NAME=test-cluster + # - HDFS_NAMENODE_USER=root + # - HADOOP_CONF_DIR=/hadoop/etc/hadoop + # volumes: + # - ./config/core-site.xml:/hadoop/etc/hadoop/core-site.xml + # - ./config/hdfs-site.xml:/hadoop/etc/hadoop/hdfs-site.xml + # - namenode_data:/hadoop/dfs/name + # command: bash -c "hdfs namenode -format && /entrypoint.sh" + # healthcheck: + # test: ["CMD", "hdfs", "dfsadmin", "-report"] + # interval: 5s + # timeout: 3s + # retries: 5 + # networks: + # - hugegraph-net + + # datanode: + # image: johannestang/hadoop-datanode:2.0.0-hadoop2.8.5-java8 + # container_name: datanode + # depends_on: + # - namenode + # environment: + # - CLUSTER_NAME=test-cluster + # - HDFS_DATANODE_USER=root + # - HADOOP_CONF_DIR=/hadoop/etc/hadoop + # volumes: + # - ./config/core-site.xml:/hadoop/etc/hadoop/core-site.xml + # - ./config/hdfs-site.xml:/hadoop/etc/hadoop/hdfs-site.xml + # - datanode_data:/hadoop/dfs/data + # healthcheck: + # test: ["CMD", "hdfs", "dfsadmin", "-report"] + # interval: 5s + # timeout: 3s + # retries: 5 + # networks: + # - hugegraph-net + +networks: + hugegraph-net: + driver: bridge +``` + +#### hadoop配置挂载 +📁 ./config/core-site.xml 内容： + +```xml +<configuration> + <property> + <name>fs.defaultFS</name> + <value>hdfs://namenode:8020</value> + </property> +</configuration> +``` + +📁 ./config/hdfs-site.xml 内容： + +```xml +<configuration> + <property> + <name>dfs.namenode.name.dir</name> + <value>/opt/hdfs/name</value> + </property> + <property> + <name>dfs.datanode.data.dir</name> + <value>/opt/hdfs/data</value> + </property> + <property> + <name>dfs.permissions.superusergroup</name> + <value>hadoop</value> + </property> + <property> + <name>dfs.support.append</name> + <value>true</value> + </property> +</configuration> +``` + +**说明**： + +* **`hugegraph-server`**：使用 `hugegraph/hugegraph:latest` 镜像。您可以根据需要替换为特定版本，或者如果您需要从源代码构建 Server，可以创建一个自定义的 Dockerfile 并在此处引用。 +* **`mysql`**：使用官方 `mysql:5.7` 镜像。`MYSQL_ROOT_PASSWORD` 和 `MYSQL_DATABASE` 可以通过环境变量 (`DB_PASS`, `DB_DATABASE`) 传入，或者使用默认值。 +* **`namenode` 和 `datanode`** (注释掉的部分)：如果您需要运行 HugeGraph-Loader 的 HDFS 测试，可以取消注释并配置 Hadoop 服务。 + + +#### 启动和停止 Docker 环境 + +1. **保存 `docker-compose.yml`**：将上述内容保存为 `docker-compose.yml` 文件，建议放在 `hugegraph-toolchain` 项目的根目录下或一个独立的 `docker` 目录中。 + +2. **启动服务**：在 `docker-compose.yml` 文件所在的目录下，运行以下命令启动所有服务： + + ```bash + docker compose up -d + ``` + * `-d` 参数表示在后台运行容器。 + +3. **检查服务状态**：您可以使用以下命令检查容器的运行状态： + + ```bash + docker compose ps + lsof -i:8080 # server端口 + lsof -i:8020 # hadoop端口 + lsof -i:3306 # mysql端口 + ``` + +4. **停止服务**：测试完成后，您可以停止并移除所有容器： + + ```bash + docker compose down + ``` + +## 4. 开始测试 + +通常来说，各个工具的本地测试大致流程如下，下面将进行细致的说明 + +<div style="text-align: center;"> + <img src="/docs/images/toolchain-test-mermaid-2.png" alt="HugeGraph工具链测试流程图"> +</div> + +### 4.1 hugegraph-client 本地测试 (Java 版本) + +`hugegraph-client` 是 HugeGraph 的 Java 客户端库，用于与 HugeGraph Server 进行交互。其测试主要验证客户端与服务端的通信和数据操作。 + +#### 4.1.1 编译 + +首先，编译 `hugegraph-client` 模块： + +```bash +mvn -e compile -pl hugegraph-client -Dmaven.javadoc.skip=true -ntp +``` + +* `-pl hugegraph-client`：指定只编译 `hugegraph-client` 模块。 +* `-Dmaven.javadoc.skip=true`：跳过 Javadoc 生成。 +* `-ntp`：不显示传输进度。 + +#### 4.1.2 依赖服务安装 + +按照 [部署测试环境](#3-部署测试环境) 部署测试环境 中的说明，启动 `hugegraph-server` 。 + +##### server鉴权设置（docker镜像版本<=1.5.0不支持鉴权测试） + +由于client的ApiTest包含鉴权测试，需确保server的密码与测试代码中相同，否则client与server的数据传递将无法正常进行。若使用client自带的脚本安装并启动server，可跳过此步。 +但若使用其他方式启动，由于默认server并未设置，因此须进行如下鉴权设置。如 `docker exec -it server bash` 进入容器环境进行修改 + +```bash +# 第一步：修改鉴权模式 +vi conf/rest-server.properties +``` +将line 23的 `auth.authenticator=` 修改为 `auth.authenticator=org.apache.hugegraph.auth.StandardAuthenticator` + +```bash +# 第二步：设置密码 +bin/stop-hugegraph.sh +echo -e "pa" | bin/init-store.sh # 此脚本初始化 HugeGraph 存储并设置默认用户凭据，包括用于鉴权测试的密码 +bin/start-hugegraph.sh +``` + +#### 4.1.3 运行测试 + +进入 `hugegraph-client` 模块目录，并运行测试： + +```bash +cd hugegraph-client +mvn test -Dtest=UnitTestSuite -ntp +mvn test -Dtest=ApiTestSuite -ntp +mvn test -Dtest=FuncTestSuite -ntp +``` + +* unit test 主要依赖 `hugegraph-client` 自身的编译, 用于测试客户端内部的逻辑。 +* 其他测试模块都需要依赖一个正在运行的 HugeGraph-Server 服务 + +### 4.2 hugegraph-loader 本地测试 + +`hugegraph-loader` 是 HugeGraph 的数据导入工具，支持从多种数据源导入数据。支持从多种数据源（如本地文件、HDFS、关系型数据库等）加载数据到 HugeGraph 中，涉及与 HugeGraph Server、Hadoop、MySQL 等服务的交互。 + +#### 4.2.1 编译 + +编译 `hugegraph-client` 和 `hugegraph-loader` 模块： + +```bash +mvn install -pl hugegraph-client,hugegraph-loader -am -Dmaven.javadoc.skip=true -DskipTests -ntp +``` + +#### 4.2.2 依赖服务安装 (根据测试类型选择) + +按照 [部署测试环境](#部署测试环境) 部署测试环境 中的说明，启动 `hugegraph-server`，`Hadoop (HDFS)` (仅当运行 HDFS 测试时需要)， `MySQL` (仅当运行 JDBC 测试时需要)。 + +<div style="text-align: center;"> + <img src="/docs/images/toolchain-test-mermaid-1.png" alt="HugeGraph Loader 测试流程图"> +</div> + +#### 4.2.3 运行测试 + +进入 `hugegraph-loader` 模块目录，并运行测试。`hugegraph-loader` 的测试通过 Maven Profile 进行分类： + +```bash +cd hugegraph-loader +mvn test -P unit -ntp +mvn test -P file -ntp +mvn test -P hdfs -ntp +mvn test -P jdbc -ntp +mvn test -P kafka -ntp +``` + +* unit test 主要依赖 `hugegraph-loader` 自身的编译, 用于测试 loader 组件内部的逻辑。 +* 其他测试模块都需要依赖一个正在运行的 HugeGraph-Server 服务 + * hdfs 还额外依赖 一个可用的 Hadoop (HDFS) 环境; + * jdbc还额外依赖一个可用的 MySQL 数据库。 + + +**重要提示**：运行特定 Profile 的测试前，请务必确保相应的依赖服务已启动并可访问。 + +### 4.3 hugegraph-hubble 后端本地测试 + Review Comment: **命令说明不准确**: API测试脚本的说明过于简单,缺少关键信息。 **当前问题**: 1. 只有一行命令,没有说明脚本的作用和预期结果 2. 未说明脚本执行的前置条件(Server和Hubble都要运行吗?) 3. 未说明测试大约需要多长时间 4. 脚本路径暗示了这是CI脚本,可能不适合本地运行 **建议补充**: ```markdown #### 4.3.3 运行测试 **单元测试**: ```bash cd hugegraph-hubble mvn test -P unit-test -pl hubble-be -ntp ``` **API测试**: API测试需要HugeGraph Server和Hubble服务都在运行。 ```bash # 1. 确认Server运行在8080端口 curl http://localhost:8080/graphs # 2. 确认Hubble运行在8088端口 curl http://localhost:8088/api/health # 3. 执行API测试 cd hugegraph-hubble/hubble-dist ./assembly/travis/run-api-test.sh # 测试时间约5-10分钟,请耐心等待 ``` **注意**: - API测试会创建和删除测试数据,请勿在生产环境运行 - 如果测试失败,检查Hubble日志: `logs/hugegraph-hubble.log` ``` ########## content/en/docs/guides/toolchain-local-test.md: ########## @@ -0,0 +1,518 @@ +--- Review Comment: **英文文档与中文文档不同步**: 需要确保两个版本的内容保持一致。 **建议添加检查清单**: 在PR合并前,请确认: - [ ] 中英文文档的章节结构相同 - [ ] 所有命令示例在两个版本中一致 - [ ] 图片路径在两个版本中都正确 - [ ] 技术术语翻译准确且统一 - [ ] 版本号、端口号等关键信息一致 **可以考虑的改进**: 1. 在CI中添加自动化检查,确保中英文文档的代码块内容一致 2. 创建术语对照表,确保翻译统一性 3. 使用变量替换关键配置(如端口号、版本号),便于统一修改 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
