[ 
https://issues.apache.org/jira/browse/IOTDB-5275?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=17685153#comment-17685153
 ] 

周沛辰 commented on IOTDB-5275:
----------------------------

获取日志,通过对每次合并任务的耗时进行累加,统计整体合并的耗时:
h1. 对齐序列(不使用模版)
 # Common:11782秒
 # F1:11758秒
 # F2:11344秒
 # F3:120秒

 
h1. 对齐序列(使用模版)
 # Common:11864秒 
 # F1:11997秒 
 # F2:11912秒
 # F3:125秒

 

可以发现,不管是否使用模版,Common、Fast1与Fast2在整体合并耗时上差不多,与预期相符,Fast3由于直接刷page,所以耗时短但是合并出的总文件大小也相对大一点,符合预期。

在统计合并耗时的时候应该通过对每次合并任务的耗时进行累加,而非最后一个合并日志的结束时间减去系统开始运行的时间,因为这样就包括了中间不可预期的合并调度与空闲时间。

> [compaction][aligned ts] compaction is slow
> -------------------------------------------
>
>                 Key: IOTDB-5275
>                 URL: https://issues.apache.org/jira/browse/IOTDB-5275
>             Project: Apache IoTDB
>          Issue Type: Bug
>          Components: mpp-cluster
>    Affects Versions: master branch
>            Reporter: 刘珍
>            Assignee: 周沛辰
>            Priority: Critical
>         Attachments: 1_shunxu.conf, 2_shunxu.conf, 3_shunxu.conf, 
> 4_shunxu.conf, image-2022-12-23-22-27-49-731.png
>
>
> m_1222_656d281
> 问题描述:
> 对齐序列,全部是顺序数据,无其他读写操作,
> 默认配置(cross_performer=read_point
> inner_seq_performer=read_chunk
> inner_unseq_performer=read_point
> )
> {color:#de350b}合并慢{color}
> !image-2022-12-23-22-27-49-731.png|width=987,height=390! 
> 测试环境
> 1. 私有云1期
> 关合并,生成数据。
> 配置文件见附件
> 2.对比合并性能,无其他读写操作。
> ConfigNode配置
> MAX_HEAP_SIZE="2G"
> DataNode配置
> MAX_HEAP_SIZE="18G"
> MAX_DIRECT_MEMORY_SIZE="6G"
> Common配置
> {color:#de350b}*time_partition_interval=60480000000
> compaction_io_rate_per_sec=1000*{color}



--
This message was sent by Atlassian Jira
(v8.20.10#820010)

Reply via email to