ColinLeeo opened a new issue, #924: URL: https://github.com/apache/tsfile/issues/924
### 背景与动机 社区从 #73 开始就对 Go 语言支持有所关注。此前曾有过纯 Go 实现,但目前已停止维护,也无法兼容最新的 TsFile 文件格式。 随着项目中的 C++ 实现和 C Wrapper 日趋完善,我们可以在不重复实现 TsFile 文件格式的情况下,基于现有能力提供 Go 语言支持: Go API → cgo → C API → C++ TsFile Core 这样,Go 应用便可以读写最新版本的 TsFile,并复用 C++ 模块在文件格式兼容性、缺陷修复和性能优化方面的成果。 ### 建议方案 新增一个 Go Module,并遵循以下设计: - 对外提供符合 Go 使用习惯的 Reader、Writer、Schema、Tablet 和 ResultSet API; - 将所有 cgo 和 unsafe 代码限制在内部 native 包中; - 将 C/C++ 对象封装为不透明句柄,不向上层暴露其内部结构; - 提供显式的 `Close` 方法,并清晰定义内存所有权; - 将 C API 返回的错误码转换为 Go error; - 以批量、列式接口作为主要读写路径; - 同时提供自定义 Tablet API 和 Apache Arrow API; - 通过 Arrow C Data Interface 与 Apache Arrow 集成。 当前供 Python Binding 使用的 `_tsfile_*` 接口可以继续复用。后续可以将这些接口作为 Python、Go 以及其他语言 Binding 共用的底层 C API,并逐步补充接口说明、内存所有权约定和兼容性保证。 ### 性能考虑 如果每写入或读取一个单元格都跨越一次 cgo 边界,将会产生比较明显的性能开销。因此,主要读写接口应以 Tablet、Arrow RecordBatch 或其他列式 Batch 为单位,使每个 Batch 只需要一次或少量几次 cgo 调用。 可以提供行式的便利 API,但建议先在 Go 内存中缓存多行数据,达到指定大小后再以 Tablet 形式批量写入,而不是每个值都立即调用 C API。 批量数据交换可以优先使用现有的 Arrow C Data Interface 路径。如果现有 TsBlock 的数据结构和生命周期能够安全地暴露给 Go,也可以评估直接使用 TsBlock 批量路径。 目前 Arrow 路径在 TsBlock、Arrow 和 Tablet 之间可能发生数据转换和复制。除非未来将 TsBlock 本身实现为 Arrow 兼容格式,否则不存在更进一步的通用零拷贝方案。因此,第一阶段直接使用现有批量路径即可,不将零拷贝作为实现目标。 ### 初始范围 建议第一阶段包含: - Go Module 和包结构; - Table Model 的 Reader 和 Writer; - Schema 和 Tablet API; - 自定义 Tablet 批量读写接口; - Apache Arrow 批量读写接口; - 基于 Arrow C Data Interface 的数据交换; - 在结构和生命周期兼容时,评估并支持 TsBlock 批量路径; - 常用标量类型、NULL、字符串和二进制类型; - 确定性的资源释放机制; - 与 Java、C++ 和 Python 实现生成文件之间的兼容性测试; - C++ 原生接口、Go 批量接口和 Go 行式接口之间的性能基准测试; - 与当前 Python Binding 相同的操作系统和 CPU 架构支持矩阵。 Tree Model 可以根据第一阶段的设计和实现情况逐步添加。 ### 待讨论问题 1. 现有 `_tsfile_*` 接口中,哪些可以直接作为通用 Binding API,哪些需要补充或调整? 2. 应当使用哪些兼容性和性能指标作为验收标准? 如果社区认可这个方向,我愿意参与后续的设计与实现。 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected]
