qiaojialin commented on a change in pull request #783: Add sync design doc URL: https://github.com/apache/incubator-iotdb/pull/783#discussion_r377412422
########## File path: docs/Documentation-CHN/SystemDesign/6-Tools/1-Sync.md ########## @@ -19,6 +19,280 @@ --> -## 数据回传工具 +<!-- TOC --> -数据回传工具可以将一个 IoTDB 实例的数据文件定期传输到另一个 IoTDB 实例。 \ No newline at end of file +- [同步工具](#同步工具) + - [概述](#概述) + - [场景](#场景) + - [目标](#目标) + - [目录结构](#目录结构) + - [目录结构设计](#目录结构设计) + - [目录结构说明](#目录结构说明) + - [发送端](#发送端) + - [接收端](#接收端) + - [其他](#其他) + - [同步工具发送端](#同步工具发送端) + - [需求说明](#需求说明) + - [模块设计](#模块设计) + - [文件管理模块](#文件管理模块) + - [包](#包) + - [文件选择](#文件选择) + - [文件清理](#文件清理) + - [文件传输模块](#文件传输模块) + - [包](#包-1) + - [同步schema](#同步schema) + - [同步数据文件](#同步数据文件) + - [恢复模块](#恢复模块) + - [包](#包-2) + - [流程](#流程) + - [同步工具接收端](#同步工具接收端) + - [需求说明](#需求说明-1) + - [模块设计](#模块设计-1) + - [文件传输模块](#文件传输模块-1) + - [包](#包-3) + - [流程](#流程-1) + - [文件加载模块](#文件加载模块) + - [包](#包-4) + - [文件删除](#文件删除) + - [加载新文件](#加载新文件) + - [恢复模块](#恢复模块-1) + - [包](#包-5) + - [流程](#流程-2) + +<!-- /TOC --> + +# 同步工具 + +同步工具是定期将本地磁盘中和新增的已持久化的tsfile文件上传至云端并加载到Apache IoTDB的套件工具。 + +## 概述 + +本文档主要介绍了同步工具的需求定义、模块设计等方面。 + +### 场景 + +同步工具的需求主要有以下几个方面： + +* 在生产环境中，Apache IoTDB会收集数据源(工业设备、移动端等)产生的数据存储到本地。由于数据源可能分布在不同的地方，可能会有多个Apache IoTDB同时负责收集数据。针对每一个IoTDB，它需要将自己本地的数据同步到数据中心中。数据中心负责收集并管理来自多个Apache IoTDB的数据。 + +* 随着Apache IoTDB系统的广泛应用，用户根据目标业务需求需要将一些Apache IoTDB实例生成的tsfile文件放在另一个Apache IoTDB实例的数据目录下加载并应用，实现数据同步。 + +* 同步模块在发送端以独立进程的形式存在，在接收端和Apache IoTDB位于同一进程内。 + +* 支持一个发送端向多个接收端同步数据且一个接收端可同时接收多个发送端的数据，但需要保证多个发送端同步的数据不冲突(即一个设备的数据来源只能有一个)，否则需要提示冲突。 + +### 目标 + +利用同步工具可以将数据文件在两个Apache IoTDB实例间传输并加载。在网络不稳定或宕机等情况发生时，保证文件能够被完整、正确地传送到数据中心。 + +## 目录结构 + +下面以终端`192.168.130.14`向终端`192.168.130.16:5555`同步数据为例说明目录结构 + +### 目录结构设计 + +<img style="width:100%; max-width:800px; max-height:600px; margin-left:auto; margin-right:auto; display:block;" src="https://user-images.githubusercontent.com/26211279/74145347-849dc380-4c39-11ea-9ef2-e10a3fe2074d.png";> + +### 目录结构说明 + +sync-sender文件夹中包含同步工具发送端同步数据期间的临时文件、状态日志等。 Review comment: ```suggestion sync-sender文件夹中包含发送端同步数据期间的临时文件、状态日志等。 ``` ---------------------------------------------------------------- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. For queries about this service, please contact Infrastructure at: us...@infra.apache.org With regards, Apache Git Services
![https://user-images.githubusercontent.com/26211279/74145347-849dc380-4c39-11ea-9ef2-e10a3fe2074d.png"](https://user-images.githubusercontent.com/26211279/74145347-849dc380-4c39-11ea-9ef2-e10a3fe2074d.png"){kind=link}