This is an automated email from the ASF dual-hosted git repository.
dataroaring pushed a commit to branch master
in repository https://gitbox.apache.org/repos/asf/doris-website.git
The following commit(s) were added to refs/heads/master by this push:
new f55e4497a61 [improve](cloud) Improve cloud mode deployment plan (#858)
f55e4497a61 is described below
commit f55e4497a616d0b7a95c23391184ebdf518239ae
Author: Gavin Chou <[email protected]>
AuthorDate: Mon Jul 22 17:53:20 2024 +0800
[improve](cloud) Improve cloud mode deployment plan (#858)
---
.../compute-storage-decoupled/before-deployment.md | 105 ++++++++++++++-------
.../compilation-and-deployment.md | 22 +++--
2 files changed, 81 insertions(+), 46 deletions(-)
diff --git
a/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/before-deployment.md
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/before-deployment.md
index 8923c8319f4..6e8169085b9 100644
---
a/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/before-deployment.md
+++
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/before-deployment.md
@@ -28,7 +28,7 @@ Doris 存算分离架构部署方式示意图如下，共需要 3 个模块参
- **FE**：负责接收用户请求，负责存储库表的元数据，目前是有状态的，未来会和 BE 类似，演化为无状态。
- **BE**：无状态化的 Doris BE 节点，负责具体的计算任务。BE 上会缓存一部分 Tablet 元数据和数据以提高查询性能。
-- **Meta Service**：存算分离模式新增模块，程序名为 `doris_cloud`，可通过启动不同参数来指定为以下两种角色之一
+- **MS**：存算分离模式新增模块，程序名为 `doris_cloud`，可通过启动不同参数来指定为以下两种角色之一
- **Meta Service**：元数据管理，提供元数据操作的服务，例如创建 Tablet，新增 Rowset，Tablet 查询以及 Rowset
元数据查询等功能。
- **Recycler**：数据回收。通过定期对记录已标记删除的数据的元数据进行扫描，实现对数据的定期异步正向回收（文件实际存储在 S3 或 HDFS
上），而无须列举数据对象进行元数据对比。
@@ -57,50 +57,83 @@ Doris 存算分离模式部署按照模块与分工＂自下而上＂部署：
:::
## 部署规划
+一般来说 Doris 存算分离模式适用于比较大型的集群（多台机器），机器越多，越能发挥存算分离模式的优势。
+Doris存算分离模式推荐的方式是按照模块划分，尽量避免模块间相互影响。推荐的部署方式以及规划：
+* Meta Service，Recycler 以及 FDB 使用同一批机器（前者消耗CPU，后者消耗IO）。要求大于等于3台。
+ * 存算分离模式要正常运行至少要部署一个 Meta Service 进程以及至少一个 Recycler
进程。这两种进程是无状态的，可以按需增加部署数量，一般每种进程部署3个能够满足需求。
+ * 为了保证 FDB 的性能，可靠性以及扩展性，FDB 需要使用多副本部署的方式。
+* FE单独部署，至少1台，可以按需实际查询需要多部署一些
+* BE单独部署，至少1台，可以按需实际查询需要多部署一些
-Doris 存算分离模式推荐的部署方式是按照模块划分，尽量避免模块间相互影响。
-推荐的部署方式及规划：
-* Meta Service，Recycler 以及 FoundationDB 使用同一批机器。要求大于等于 3 台。
- * 要使存算分离模式正常运行，需要部署至少一个 Meta Service 进程以及至少一个 Recycler
进程。这两种进程均为无状态，可以按需增加部署数量，一般每种进程部署 3 个即可满足需求。
- * 为了保证 FoundationDB 的性能、可靠性以及扩展性，需要使用多副本方式部署 FoundationDB。
-* FE 单独部署，至少 1 台，可根据实际查询需求增加机器数量
-* BE 单独部署，至少 1 台，可根据实际查询需求增加机器数量
+**我们也可以根据不同的部署需求进行不同的部署规划：**
+1. 测试体验部署：体验存算分离的功能，多个模块混部在一台机器，不能用于生产环境。
+2. 小规模生产部署：最少 3 台机器部署，保证数据的可靠以及后续往规模的扩展性。部分模块混部。
+3. 大规模生产部署：最少 5 台机器部署，保证数据的可靠以及后续往规模的扩展性。最大限度保证模块的隔离。
+接下来我们给出上述每个具体的部署示例。
-```
- Host1 Host2
- .------------------. .------------------.
- | | | |
- | FE | | BE |
- | | | |
- '------------------' '------------------'
-
- Host3 Host4 Host5
-.------------------. .------------------. .------------------.
-| Recycler | | Recycler | | Recycler |
-| Meta Service | | Meta Service | | Meta Service |
-| FoundationDB | | FoundationDB | | FoundationDB |
-'------------------' '------------------' '------------------'
+### 测试体验部署
+
+所有模块都混部在一个机器上。FDB 使用单机部署方案，具体参考本文档”安装 FoundationDB“章节，完成单机部署 FDB 部分即可。
+**注意：此方案一定不能用于生产环境。**
```
+ host1
+ .------------------.
+ | FE |
+ | BE |
+ | Recycler |
+ | Meta Service |
+ | FDB |
+ '------------------'
+```
+
+### 小规模生产部署
+如果机器数量有限，可以使用全混部的方式，但是最少也要求使用3台机器用于 FDB 的部署，
+然后所有模块部署在同一批机器，如下是一种可行的规划：
+1. 3 台机器部署一个最小规模的 FDB 高可靠高可用集群
+2. 其中 1 台再混部上 FE+BE+Meta Service+Recycler
+3. 另外 2 台再混部上 BE
-如果机器数量有限，可以使用全混部方式，所有模块部署在同一批机器。要求机器数量大于 3 台。
-如下是一种可行的规划。
+**注意：这个部署方案，BE 如果有大查询可能会影响到 FDB 的工作, CPU 内存 IO 资源。
+这个部署保证了数据的可靠性和扩展性，我们后续可以根据需求增加机器逐渐横向扩展成大规模的部署**
```
- Host1 Host2 Host3
-.------------------. .------------------. .------------------.
-| | | | | |
-| FE | | | | |
-| | | BE | | BE |
-| Recycler | | | | |
-| Meta Servcie | | | | |
-| FoundationDB | | FoundationDB | | FoundationDB |
-| | | | | |
-'------------------' '------------------' '------------------'
+ host1 host2 host3
+ .------------------. .------------------. .------------------.
+ | FE | | | | |
+ | | | BE | | BE |
+ | Recycler | | | | |
+ | Meta Service | | | | |
+ | FDB | | FDB | | FDB |
+ '------------------' '------------------' '------------------'
```
+### 大规模生产部署
+
+下图展示了一种比较大规模的部署方案，这个部署方式可以由小规模部署方案逐渐横向扩展形成。
+1. FE 使用 2 台独立机器部署（按需增加机器，可以使用多于 2 台机器，但是一般 2 台足够），保证请求的高可用（互备）。
+2. BE 使用 3 台独立机器部署（按需增加机器，可以使用多于 3 台机器），面对大查询 BE 产生的IO 以及 CPU 影响不会影响到其他模块。
+3. Meta Service，Recycler 以及 FDB 混部在 3 台独立机器（可以使用多于 3 台机器，一般来说 3 台已经足够服务几十台以上的
FE+BE），充分利用这些机器的 CPU 内存 以及 IO 资源。
+
+```
+ host1,2 host3,4,5
+ .------------------. .------------------.
+ | .------------------. | .------------------.
+ | | | | | .------------------.
+ | | FE | | | | |
+ '-| | '-| | BE |
+ '------------------' '-| |
+ '------------------'
+
+ host6 host7 host8
+ .------------------. .------------------. .------------------.
+ | Recycler | | Recycler | | Recycler |
+ | Meta Service | | Meta Service | | Meta Service |
+ | FDB | | FDB | | FDB |
+ '------------------' '------------------' '------------------'
+```
## 安装 FoundationDB
@@ -346,7 +379,7 @@ Coordinators changed
最后，通过 `fdbcli` 中的 `status` 检测模式是否配置成功：
```Shell
-[root@ip-10-100-3-91 recycler]# fdbcli
+[root@ip-10-100-3-91 Recycler]# fdbcli
Using cluster file `/etc/foundationdb/fdb.cluster'.
The database is available.
@@ -401,7 +434,7 @@ OpenJDK 17 需安装到所有的节点上，可通过以下链接获取安装：
```Bash
tar xf openjdk-17.0.1_linux-x64_bin.tar.gz -C /opt/
-# 启动 meta-service 或者 recycler 之前
+# 启动 Meta Service 或者 Recycler 之前
export JAVA_HOME=/opt/jdk-17.0.1
```
diff --git
a/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/compilation-and-deployment.md
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/compilation-and-deployment.md
index 25852925546..a3412b1fe62 100644
---
a/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/compilation-and-deployment.md
+++
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/compute-storage-decoupled/compilation-and-deployment.md
@@ -24,17 +24,19 @@ specific language governing permissions and limitations
under the License.
-->
-在存算分离模式下进行 Doris 编译与存算一体模式的编译相似，主要区别在于新增 Meta Service 模块的编译和部署。
+在存算分离模式下进行 Doris 编译与存算一体模式的编译相似，主要区别在于新增 MS 模块的编译和部署。
+本文档主要介绍相比于3.0.0版本前的新增 MS 模块的编译，配置以及启停。
-## 编译
+## 获取二进制
-存算分离和存算一体模式下的编译方式相似，均使用代码库自带的 `build.sh` 脚本编译，新增的 Meta Service 模块使用参数`--cloud`
即可编出（二进制名为 `doris_cloud`）。
+存算分离和存算一体模式下的编译方式相似，均使用代码库自带的 `build.sh` 脚本编译，新增的 MS 模块使用参数`--cloud`
即可编出（二进制名为 `doris_cloud`）。
+**已经编译好的二进制（包含所有 Doris 模块）可以直接从 [Doris
下载页面](https://doris.apache.org/download/)下载（选择大于等于3.0.0的版本）**。
```Bash
sh build.sh --fe --be --cloud
```
-不同于存算一体模式，存算分离模式编译后，可在 `output` 目录下发现一个 `ms` 目录。
+相比 3.0.0 之前的版本，编译完成的二进制包中（产出）多了 `ms` 目录。
```Bash
output
@@ -46,16 +48,16 @@ output
└── lib
```
-`ms`目录作为编译产出，将同时服务于 Meta Service 和 Recycler。需要注意的是，尽管 Meta Service 和 Recycler
在本质上属于同一程序，但目前需要分别为它们准备独立的二进制文件。Meta Service 和 Recycler 两个目录完全一致，只是启动参数不同。
+`ms`目录将同时用于 Meta Service 和 Recycler 两种进程。
+需要注意的是，尽管 Meta Service 和 Recycler 在本质上属于同一程序，但目前需要分别为它们准备独立的二进制文件，以及工作目录。
+Meta Service 和 Recycler 两个工作目录除了配置完全一致，使用不同启动参数启动。
-准备两份二进制文件，只需使用以下命令从`ms`目录中拷贝二进制文件至一个新的 Recycler
工作目录`re`，然后在`ms`和`re`的`conf`子目录下，对端口号等参数按需进行必要修改即可。
+要准备两份二进制文件/工作目录，只需使用以下命令从`ms`目录中拷贝二进制文件至一个新的 Recycler
工作目录`re`，然后在`ms`和`re`的`conf`子目录下，对端口号等参数按需进行必要修改即可。详细的配置启动会在本文后续章节介绍。
```Shell
cp -r ms re
```
-## 版本信息
-
可通过两种方式检查`doris_cloud` 的版本信息，若其中一种方式无法正确执行，可尝试另一方式，在`ms`或者`re`目录下：
- `bin/start.sh --version`
@@ -128,7 +130,7 @@ Meta Service 和 Recycler 依赖 JAVA 运行环境，并使用 OpenJDK 17。在
```Shell
export JAVA_HOME=${path_to_jdk_17}
-bin/start.sh --meta-service --daemonized
+bin/start.sh --meta-service --daemon
bin/stop.sh
```
@@ -139,7 +141,7 @@ bin/stop.sh
```Shell
export JAVA_HOME=${path_to_jdk_17}
-bin/start.sh --recycler --daemonized
+bin/start.sh --recycler --daemon
bin/stop.sh
```
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]
