empiredan commented on code in PR #62: URL: https://github.com/apache/incubator-pegasus-website/pull/62#discussion_r1457173568
########## _docs/zh/administration/manual-compact.md: ########## @@ -144,3 +146,51 @@ for example: ``` $ ./scripts/pegasus_manual_compact.sh -c 127.0.0.1:34601,127.0.0.1:34602 -a temp ``` + + + +## 通过admin-cli设置 + +在**2.4.0**之后的pegasus版本还支持用admin-cli来设置manual compaction的开始并且可以方便的查看进行的进度。 + +### 使用命令 + +```bash +#开始单次manual compaction +Pegasus-AdminCli-1.2.0 » manual-compaction start -h +start manual compaction for a specific table + +Usage: + start [flags] + +Flags: + -b, --bottommostLevelCompaction bottommost level files will be compacted or not, default value is false + -h, --help display help + -c, --maxConcurrentRunningCount int max concurrent running count, default value is 0, no limited (default: 0) + -a, --tableName string table name + -l, --targetLevel int compacted files move level, default value is -1 (default: -1) + + +#查看manual compaction进度 +Pegasus-AdminCli-1.2.0 » manual-compaction query -h +query manual compaction progress for a specific table + +Usage: + query [flags] + +Flags: + -h, --help display help + -a, --tableName string table name + +``` + + + +## 补充说明 + +manual compaction常与bulk load功能配合使用，作为批量导入大量数据后统一优化读取的手段。在需要进行bulk load操作的表中，我们常将**Usage Scenario**参数设置为bulkload模式，以便减小增加大量数据带来的性能损耗。 Review Comment: ```suggestion manual compaction常与bulk load功能配合使用，作为批量导入大量数据后统一优化读取的手段。在需要进行bulk load操作的表中，我们常将**Usage Scenario**参数设置为bulk_load模式，以便减小增加大量数据带来的性能损耗。 ``` ########## _docs/zh/administration/manual-compact.md: ########## @@ -144,3 +146,51 @@ for example: ``` $ ./scripts/pegasus_manual_compact.sh -c 127.0.0.1:34601,127.0.0.1:34602 -a temp ``` + + + +## 通过admin-cli设置 + +在**2.4.0**之后的pegasus版本还支持用admin-cli来设置manual compaction的开始并且可以方便的查看进行的进度。 + +### 使用命令 + +```bash +#开始单次manual compaction +Pegasus-AdminCli-1.2.0 » manual-compaction start -h +start manual compaction for a specific table + +Usage: + start [flags] + +Flags: + -b, --bottommostLevelCompaction bottommost level files will be compacted or not, default value is false + -h, --help display help + -c, --maxConcurrentRunningCount int max concurrent running count, default value is 0, no limited (default: 0) + -a, --tableName string table name + -l, --targetLevel int compacted files move level, default value is -1 (default: -1) + + +#查看manual compaction进度 +Pegasus-AdminCli-1.2.0 » manual-compaction query -h +query manual compaction progress for a specific table + +Usage: + query [flags] + +Flags: + -h, --help display help + -a, --tableName string table name + +``` + + + +## 补充说明 + +manual compaction常与bulk load功能配合使用，作为批量导入大量数据后统一优化读取的手段。在需要进行bulk load操作的表中，我们常将**Usage Scenario**参数设置为bulkload模式，以便减小增加大量数据带来的性能损耗。 + +- manual-compaction的开销要比引擎层compaction低，因为我们可以通过参数主动控制并发度。 +- bulk_load开启后会将**Usage Scenario**参数变为bulkload，在这种模式下，我们会禁止引擎层的compaction，因为bulkload会在level0层堆积大量的sst文件，如果不关闭引擎compact会消耗大量IO并且对读非常不友好。 Review Comment: ```suggestion - bulk_load开启后会将**Usage Scenario**参数变为bulk_load，在这种模式下，我们会禁止引擎层的compaction，因为bulk_load模式下会在level0层堆积大量的sst文件，如果不关闭引擎compact会消耗大量IO并且对读非常不友好。 ``` -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: dev-unsubscr...@pegasus.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org --------------------------------------------------------------------- To unsubscribe, e-mail: dev-unsubscr...@pegasus.apache.org For additional commands, e-mail: dev-h...@pegasus.apache.org
