[
https://issues.apache.org/jira/browse/IOTDB-5275?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=17685153#comment-17685153
]
周沛辰 commented on IOTDB-5275:
----------------------------
获取日志,通过对每次合并任务的耗时进行累加,统计整体合并的耗时:
h1. 对齐序列(不使用模版)
# Common:11782秒
# F1:11758秒
# F2:11344秒
# F3:120秒
h1. 对齐序列(使用模版)
# Common:11864秒
# F1:11997秒
# F2:11912秒
# F3:125秒
可以发现,不管是否使用模版,Common、Fast1与Fast2在整体合并耗时上差不多,与预期相符,Fast3由于直接刷page,所以耗时短但是合并出的总文件大小也相对大一点,符合预期。
在统计合并耗时的时候应该通过对每次合并任务的耗时进行累加,而非最后一个合并日志的结束时间减去系统开始运行的时间,因为这样就包括了中间不可预期的合并调度与空闲时间。
> [compaction][aligned ts] compaction is slow
> -------------------------------------------
>
> Key: IOTDB-5275
> URL: https://issues.apache.org/jira/browse/IOTDB-5275
> Project: Apache IoTDB
> Issue Type: Bug
> Components: mpp-cluster
> Affects Versions: master branch
> Reporter: 刘珍
> Assignee: 周沛辰
> Priority: Critical
> Attachments: 1_shunxu.conf, 2_shunxu.conf, 3_shunxu.conf,
> 4_shunxu.conf, image-2022-12-23-22-27-49-731.png
>
>
> m_1222_656d281
> 问题描述:
> 对齐序列,全部是顺序数据,无其他读写操作,
> 默认配置(cross_performer=read_point
> inner_seq_performer=read_chunk
> inner_unseq_performer=read_point
> )
> {color:#de350b}合并慢{color}
> !image-2022-12-23-22-27-49-731.png|width=987,height=390!
> 测试环境
> 1. 私有云1期
> 关合并,生成数据。
> 配置文件见附件
> 2.对比合并性能,无其他读写操作。
> ConfigNode配置
> MAX_HEAP_SIZE="2G"
> DataNode配置
> MAX_HEAP_SIZE="18G"
> MAX_DIRECT_MEMORY_SIZE="6G"
> Common配置
> {color:#de350b}*time_partition_interval=60480000000
> compaction_io_rate_per_sec=1000*{color}
--
This message was sent by Atlassian Jira
(v8.20.10#820010)