Hello,

我试了一下用batch和streaming的方式写hive-2.1.1的orc表,batch模式没发现啥问题。在streaming模式下,如果把table.exec.hive.fallback-mapred-writer设为false时,会有依赖冲突,这是个已知问题,把这个参数设为true(默认值)应该可以避免。
另外我这边Hadoop的环境是2.7的,你的Hadoop是3.x么?

On Fri, Dec 4, 2020 at 9:27 PM Rui Li <[email protected]> wrote:

> Hi,
>
> 现在CDC的数据是没办法直接对接hive的,目前流式数据写hive只能是insert-only的。
>
> On Fri, Dec 4, 2020 at 10:56 AM yang xu <[email protected]> wrote:
>
>> Hi
>> 如果不支持ACID,那如果监听binlog日志的更新和删除操作需要另外写任务来处理么,如何才能做到真的批流统一
>>
>>
>>
>> --
>> Sent from: http://apache-flink.147419.n8.nabble.com/
>
>
>
> --
> Best regards!
> Rui Li
>


-- 
Best regards!
Rui Li

回复