suxiaogang223 commented on issue #520:
URL: https://github.com/apache/paimon-rust/issues/520#issuecomment-4966858421
## Serialization 调研结论
查看了 Python bindings 的实现,**CommitMessage 序列化不会阻塞 C FFI 的开发**:
### Python 侧现状
- Python bindings 完全不做 CommitMessage 序列化,纯 in-process 传递
- `PyCommitMessage` 通过 pyo3 直接持有 Rust 的 `CommitMessage` 内存对象
- 代码注释明确写:*"PR1 supports same-process transfer only (no
pickle/serialization)"*
- 底层存储格式用的是:
- Manifest 文件 → **Apache Avro** 二进制
- Snapshot 元数据 → **Serde JSON**
- 没有任何地方使用 protobuf
### 建议
C FFI 可以采用和 Python 完全一致的 in-process 方式,不引入序列化层。如果未来真的需要跨进程传输 commit
messages,可以作为独立的功能增强来考量。
这样 CommitMessage 序列化问题不用阻塞当前 write-side C FFI 的开发,可以参照 Python 路径先做
in-process 版本。
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]