dijiekstra commented on issue #18625:
URL:
https://github.com/apache/dolphinscheduler/issues/18625#issuecomment-5615128094
## 📎 完整设计文档
本RFC关联的详细设计文档已保存在项目中：
**文件位置**:
`docs/docs/zh/architecture-design/lakehouse-asset-event-scheduling.md`
**文档规模**: 1178 行，12个主章节，40+ 个子章节
### 📚 文档包含的核心部分
1. **背景与目标** - paradigm shift说明（从时间DAG到资产版本驱动）
2. **现有基础设施评估** - DolphinScheduler的Command、DEPENDENT等能力分析
3. **总体架构设计** - 领域模型、事件流、6张数据库表、触发链路
4. **集成方案** - Strategy A（ASSET_SENSOR任务）和Strategy C（工作流级触发）
5. **Master调度改造详解** ⭐
- 4.5.1：现有Master调度流程8步说明
- 4.5.2：资产事件调度的集成点（两种触发源、三层依赖判定）
- 4.5.3：Master侧5个改造点，每个都指出具体代码位置
- 4.5.4：对现有架构的最小化影响分析（<500行代码改动）
- 4.5.5：多Master并发场景的冲突点和解决方案
- 4.5.6：关键配置项和参数说明
6. **端到端示例** - GMV场景从Paimon CDC到最终输出的完整演绎
7. **观测性设计** - 22+指标、20+日志字段、8项告警规则
8. **资产标识规范** - AssetKey命名、注册发现机制
9. **分阶段实施路线图** - Phase 1/2/3的详细工作项
10. **架构升级指南** - 如何从传统时间DAG迁移到新架构
11. **常见问题解答** - 7个常见问题的详细回答
12. **风险分析** - 8项已识别风险的深度分析
### 🎯 关键设计决策
- ✅ **不改Master内核** - 完全复用现有状态机
- ✅ **插件化集成** - ASSET_SENSOR任务类型、DependencyResolverService
- ✅ **幂等保证** - trigger_key + 数据库唯一约束
- ✅ **补偿可靠** - Push + Poll + CompensationScanner三层防护
- ✅ **纯snapshot驱动** - 整个DAG由资产快照版本推进决定
### 📊 Master改造规模
| 指标 | 数值 |
|-----|------|
| 新增代码行数 | < 500行 |
| 改造点数量 | 5个 |
| 涉及文件 | 7个（engine/processor/service等） |
| 不改动的内核 | 核心状态机、DAG执行、Worker调度 |
### 🚀 立即可以用于
1. **RFC社区评审** - 设计哲学、权衡分析都完整
2. **开发任务分配** - 清晰的工作项和代码位置
3. **架构讨论** - 三层依赖判定、多Master并发等都有详细论证
4. **风险评估** - 8项风险都已识别和分析
---
欢迎社区反馈！
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
