This is an automated email from the ASF dual-hosted git repository.
eldenmoon pushed a commit to branch master
in repository https://gitbox.apache.org/repos/asf/doris-website.git
The following commit(s) were added to refs/heads/master by this push:
new a5bfb87ac7e modify some decription in VARIANT.md (#2724)
a5bfb87ac7e is described below
commit a5bfb87ac7ee6bdcf72ea52d5b0233093534a310
Author: lihangyu <[email protected]>
AuthorDate: Fri Aug 8 17:25:23 2025 +0800
modify some decription in VARIANT.md (#2724)
## Versions
- [x] dev
- [x] 3.0
- [ ] 2.1
- [ ] 2.0
## Languages
- [x] Chinese
- [ ] English
## Docs Checklist
- [ ] Checked by AI
- [ ] Test Cases Built
---
.../basic-element/sql-data-types/semi-structured/VARIANT.md | 4 ++--
.../basic-element/sql-data-types/semi-structured/VARIANT.md | 4 ++--
.../basic-element/sql-data-types/semi-structured/VARIANT.md | 6 ++----
3 files changed, 6 insertions(+), 8 deletions(-)
diff --git
a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
index 1ad51ea6ce4..e9cef16d195 100644
---
a/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
+++
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
@@ -371,8 +371,8 @@ SELECT * FROM example_table WHERE data_string LIKE
'%doris%';
3. 如果查询没有分桶裁剪的需求,可以使用 random 分桶,开启
[load_to_single_tablet](../../../../table-design/data-partitioning/data-bucketing#bucketing)
导入(导入的配置),可以减少 compaction 写放大
4. BE 配置 根据导入压力调整 `max_cumu_compaction_threads`,至少保证 8 个线程
5. BE 配置`vertical_compaction_num_columns_per_group=500`提升分组 compaction
效率,但是会增加内存开销销
-6. BE 配置`segment_cache_memory_percentage=20`增加 segment 缓存的容量,提升元数据缓存效率率
-7. 注意关注 Compaction Score,如果 Score 持续增加会导致,Score 过高反应 Compaction
做不过来(需要适当降低导入压力)
+6. BE 配置`segment_cache_memory_percentage=20`增加 segment 缓存的容量,提升元数据缓存效率
+7. 注意关注 Compaction Score,Score 过高反应 Compaction 做不过来(需要适当降低导入压力)
8. `SELECT *` 或者 `SELECT variant` 会导致集群整体压力明显上升,甚至出现超时或者内存超限。建议查询带上 Path 信息例如
`SELECT variant['path_1']`。
### FAQ
diff --git
a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
index 15e2b7550b6..b20d0805fee 100644
---
a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
+++
b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
@@ -371,8 +371,8 @@ SELECT * FROM example_table WHERE data_string LIKE
'%doris%';
3. 如果查询没有分桶裁剪的需求,可以使用 random 分桶,开启
[load_to_single_tablet](../../../../table-design/data-partitioning/data-bucketing#bucketing)
导入(导入的配置),可以减少 compaction 写放大
4. BE 配置 根据导入压力调整 `max_cumu_compaction_threads`,至少保证 8 个线程
5. BE 配置`vertical_compaction_num_columns_per_group=500`提升分组 compaction
效率,但是会增加内存开销销
-6. BE 配置`segment_cache_memory_percentage=20`增加 segment 缓存的容量,提升元数据缓存效率率
-7. 注意关注 Compaction Score,如果 Score 持续增加会导致,Score 过高反应 Compaction
做不过来(需要适当降低导入压力)
+6. BE 配置`segment_cache_memory_percentage=20`增加 segment 缓存的容量,提升元数据缓存效率
+7. 注意关注 Compaction Score,Score 过高反应 Compaction 做不过来(需要适当降低导入压力)
8. `SELECT *` 或者 `SELECT variant` 会导致集群整体压力明显上升,甚至出现超时或者内存超限。建议查询带上 Path 信息例如
`SELECT variant['path_1']`。
diff --git
a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.0/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.0/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
index c36adf63e98..75edf15b3f8 100644
---
a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.0/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
+++
b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.0/sql-manual/basic-element/sql-data-types/semi-structured/VARIANT.md
@@ -365,16 +365,14 @@ SELECT * FROM example_table WHERE data_string LIKE
'%doris%';
**针对列数限制的调优手段:**
-**针对列数限制的调优手段:**
-
注意如果是 超过 5000 子列,对内存和配置有比较高的要求,单机尽可能 128G 以上内存,核数 32C 以上
1. BE 配置`variant_max_merged_tablet_schema_size=n` n 大于实际的列数(不推荐超过 10000)
2. 需要注意的是,提取的列数过多会导致 compaction 的压力过大(需要控制导入的吞吐)。根据内存使用情况增大客户端导入的 batch_size
可以降低 compaction 的写放大(或者推荐使用 group_commit,表 properties
配置,适当增加`group_commit_interval_ms` 和 `group_commit_data_bytes`)
3. 如果查询没有分桶裁剪的需求,可以使用 random 分桶,开启
[load_to_single_tablet](../../../../table-design/data-partitioning/data-bucketing#bucketing)
导入(导入的配置),可以减少 compaction 写放大
4. BE 配置 根据导入压力调整 `max_cumu_compaction_threads`,至少保证 8 个线程
5. BE 配置`vertical_compaction_num_columns_per_group=500`提升分组 compaction
效率,但是会增加内存开销销
-6. BE 配置`segment_cache_memory_percentage=20`增加 segment 缓存的容量,提升元数据缓存效率率
-7. 注意关注 Compaction Score,如果 Score 持续增加会导致,Score 过高反应 Compaction
做不过来(需要适当降低导入压力)
+6. BE 配置`segment_cache_memory_percentage=20`增加 segment 缓存的容量,提升元数据缓存效率
+7. 注意关注 Compaction Score,Score 过高反应 Compaction 做不过来(需要适当降低导入压力)
8. `SELECT *` 或者 `SELECT variant` 会导致集群整体压力明显上升,甚至出现超时或者内存超限。建议查询带上 Path 信息例如
`SELECT variant['path_1']`。
### FAQ
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]