CDC数据Hive本身目前不支持更新,需要看一下数据湖方案,比如Hudi或Iceberg
> -----原始邮件----- > 发件人: MuChen <[email protected]> > 发送时间: 2020-09-15 17:00:45 (星期二) > 收件人: user-zh <[email protected]> > 抄送: > 主题: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive > > hi,all: > 如题:flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive? > > > 目前有建设近实时数仓的需求,需要支持在hive中join日志数据和业务数据。 > 基于日志的数据已经通过flink-sql加载到hive(分钟级延迟),但是对于存储于MySQL中的业务数据,使用flink-sql > cdc是否能够近实时更新到hive呢?如果不可以,是否有其他方案? ------------------------------
