Re:回复：flinksql写入hive问题

Thu, 24 Jun 2021 01:09:10 -0700 

非常感谢答复，不过我仔细考虑了下也没想明白，能具体说下在哪里配置参数吗。感谢！

















在 2021-06-24 14:47:24，"杨光跃" <[email protected]> 写道：
>分区的提交需要开启checkpoint，要配置下
>
>
>| |
>杨光跃
>|
>|
>[email protected]
>|
>签名由网易邮箱大师定制
>在2021年6月24日 14:44，Geoff nie<[email protected]> 写道：
>您好！我也遇到这个问题了，跟以下问题类似，请问，这个问题解决了吗？非常感谢。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>在 2021-02-14 10:43:33，"潘永克" <[email protected]> 写道：
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>-------- 转发邮件信息 --------
>发件人："潘永克" <[email protected]>
>发送日期：2021-02-11 11:12:39
>收件人：[email protected]
>主题：flinksql写入hive问题
>
>咨询一个flink问题。flinsql，能写入数据到hive表。但是hive表中的数据，都是基于 
>".part，，，，inprogress，，，，"类似的文件。flink1.12.0
>基于cdh6.2.0编译的，hive版本是2.1.1、hadoop-3.0.0.  问题截图如下：
>创建hive表：：：：
>SET table.sql-dialect=hive;
>CREATE TABLE hive_table (
>user_id STRING,
>order_amount DOUBLE
>) PARTITIONED BY (dt STRING, hr STRING) STORED AS parquet TBLPROPERTIES (
>'partition.time-extractor.timestamp-pattern'='$dt $hr:00:00',
>'sink.partition-commit.trigger'='partition-time',
>'sink.partition-commit.delay'='1 min',
>'sink.partition-commit.policy.kind'='metastore,success-file'
>);
>插入数据：：：：
>INSERT INTO TABLE hive_table
>SELECT user_id, order_amount, DATE_FORMAT(log_ts, 'yyyy-MM-dd'), 
>DATE_FORMAT(log_ts, 'HH')
>FROM kafka_table;
>
>
>文件始终不落地，一直都是 ".part-。。。。inprogress。。。"。文件。
>
>
>
>
>
>
>
>
>
>
>
>
>
>

回复