Re: Flink SQL temporal table join with Hive 报错

2021-02-19 文章 Leonard Xu
> > 二,维表有有分区,每个分区仅仅包含当天的数据,没有 primary key > > 这种情况因为要 Join 全部的数据,所以还是需要设置 'streaming-source.partition.include' = > 'all',但是还是因为没有 primary Key,所以无法 run。 > > 现在就是针对第二种情况,因为Hive的维度表不是我维护的,很多人都在用,所以不能修改去加上 primary key,无法进行 join. 第二种情况,hive表不是streaming读的,相当于是一张静态表,每次都是加载最新的全量,所以配置如下参数即可

Re: Flink SQL temporal table join with Hive 报错

2021-02-10 文章 macia kk
Hi, Leonard 我们的业务变得越来越复杂,所以现在需要 Join Hive 维表的情况非常普遍。现在维表分三种情况 一,维表没有分区,没有 primary key 这时候 `'streaming-source.partition.include' = 'latest',因为没有 parition,所以 latest 应该加载的就是全部的数据。 二,维表有有分区,每个分区仅仅包含当天的数据,没有 primary key 这种情况因为要 Join 全部的数据,所以还是需要设置 'streaming-source.partition.include' =

Re: Flink SQL temporal table join with Hive 报错

2021-02-09 文章 Leonard Xu
Hi, macia > 在 2021年2月9日,10:40,macia kk 写道: > > SELECT *FROM >( >SELECT tt.* >FROM >input_tabe_01 tt >FULL OUTER JOIN input_tabe_02 mt >ON (mt.transaction_sn = tt.reference_id) >and tt.create_time >= mt.create_time + INTERVAL

Re: Flink SQL temporal table join with Hive 报错

2021-02-08 文章 macia kk
SELECT *FROM ( SELECT tt.* FROM input_tabe_01 tt FULL OUTER JOIN input_tabe_02 mt ON (mt.transaction_sn = tt.reference_id) and tt.create_time >= mt.create_time + INTERVAL '5' MINUTES and tt.create_time <=

Re: Flink SQL temporal table join with Hive 报错

2021-02-08 文章 Rui Li
Hi, 那join的语句是怎么写的呢? On Mon, Feb 8, 2021 at 2:45 PM macia kk wrote: > 图就是哪个报错 > > 建表语句如下,表示公共表,我也没有改的权限. > > CREATE EXTERNAL TABLE `exchange_rate`(`grass_region` string COMMENT > 'country', `currency` string COMMENT 'currency', `exchange_rate` > decimal(25,10) COMMENT 'exchange rate') >

Re: Flink SQL temporal table join with Hive 报错

2021-02-07 文章 macia kk
图就是哪个报错 建表语句如下,表示公共表,我也没有改的权限. CREATE EXTERNAL TABLE `exchange_rate`(`grass_region` string COMMENT 'country', `currency` string COMMENT 'currency', `exchange_rate` decimal(25,10) COMMENT 'exchange rate') PARTITIONED BY (`grass_date` date COMMENT 'partition key, -MM-dd') ROW FORMAT SERDE

Re: Flink SQL temporal table join with Hive 报错

2021-02-07 文章 Rui Li
你好,图挂了,可以贴一下hive建表的DDL和join的语句是怎么写的么? On Mon, Feb 8, 2021 at 10:33 AM macia kk wrote: > Currently the join key in Temporal Table Join can not be empty. > > 我的 Hive 表 join DDL 没有设置 is not null ,但是都是有值的,还是会报这个错 > > [image: image.png] > -- Best regards! Rui Li

Flink SQL temporal table join with Hive 报错

2021-02-07 文章 macia kk
Currently the join key in Temporal Table Join can not be empty. 我的 Hive 表 join DDL 没有设置 is not null ,但是都是有值的,还是会报这个错 [image: image.png]