有人尝试这么实践过么？可以给一些建议么？谢谢！
在 2024-04-15 11:15:34，"casel.chen" <casel_c...@126.com> 写道： >我最近在调研Flink实时数仓数据质量保障，需要定期（每10/20/30分钟）跑批核对实时数仓产生的数据，传统方式是通过spark作业跑批，如Apache >DolphinScheduler的数据质量模块。 >但这种方式的最大缺点是需要使用spark sql重写flink >sql业务逻辑，难以确保二者一致性。所以我在考虑能否使用Flink流批一体特性，复用flink >sql，只需要将数据源从cdc或kafka换成hologres或starrocks表，再新建跑批结果表，最后只需要比较相同时间段内实时结果表和跑批结果表的数据即可。不过有几点疑问： >1. 原实时flink sql表定义中包含的watermark, process_time和event_time这些字段可以复用在batch mode下么？ >2. 实时双流关联例如interval join和temporal join能够用于batch mode下么？ >3. 实时流作业中的窗口函数能够复用于batch mode下么？ >4. 其他需要关注的事项有哪些？
