你好,

Flink暂时没有计划支持hive的ACID表。目前hive connector的代码无法保证ACID语义,所以即使你去掉“Reading or
writing ACID table %s is not supported”这个检查也达不到预期的效果。
是否考虑将ACID表迁移到数据湖中呢,比如iceberg有相应的迁移工具[1]。

[1] https://iceberg.apache.org/spark-procedures/#table-migration

On Wed, May 19, 2021 at 1:16 PM youngysh <young...@126.com> wrote:

> hi
>
>
>      我们使用 flink.1.12 读取 ACID hive table 时报错(Reading or writing ACID table
> %s is not supported),我们尝试修改源码放开这个限制也会出现后续的一些错误如(cast转换 BytesColumnVector 为
> LongColumnVector 出错)。
>      背景:目前我们生产想采用 flink 做 ETL 等数据迁移工作,对应的hive都是hive 3.0左右的版本或者hive
> 2.3.6的版本,默认都是ACID的表,而且数据量很大,现在使用flink做数据迁移,如果flink只支持读取非ACID标的话,我们需要全部重建hive的表是很费力的。
>     请问一下flink什么版本有计划支持读取 ACID的hive table?或者,目前有无办法解决我这样的问题?



-- 
Best regards!
Rui Li

回复