>
> 二,维表有有分区,每个分区仅仅包含当天的数据,没有 primary key
>
> 这种情况因为要 Join 全部的数据,所以还是需要设置 'streaming-source.partition.include' =
> 'all',但是还是因为没有 primary Key,所以无法 run。
>
> 现在就是针对第二种情况,因为Hive的维度表不是我维护的,很多人都在用,所以不能修改去加上 primary key,无法进行 join.
第二种情况,hive表不是streaming读的,相当于是一张静态表,每次都是加载最新的全量,所以配置如下参数即可
'stre
Hi, Leonard
我们的业务变得越来越复杂,所以现在需要 Join Hive 维表的情况非常普遍。现在维表分三种情况
一,维表没有分区,没有 primary key
这时候 `'streaming-source.partition.include' = 'latest',因为没有
parition,所以 latest 应该加载的就是全部的数据。
二,维表有有分区,每个分区仅仅包含当天的数据,没有 primary key
这种情况因为要 Join 全部的数据,所以还是需要设置 'streaming-source.partition.include' =
'all'
Hi, macia
> 在 2021年2月9日,10:40,macia kk 写道:
>
> SELECT *FROM
>(
>SELECT tt.*
>FROM
>input_tabe_01 tt
>FULL OUTER JOIN input_tabe_02 mt
>ON (mt.transaction_sn = tt.reference_id)
>and tt.create_time >= mt.create_time + INTERVAL '
SELECT *FROM
(
SELECT tt.*
FROM
input_tabe_01 tt
FULL OUTER JOIN input_tabe_02 mt
ON (mt.transaction_sn = tt.reference_id)
and tt.create_time >= mt.create_time + INTERVAL '5' MINUTES
and tt.create_time <= mt.create_tim
Hi,
那join的语句是怎么写的呢?
On Mon, Feb 8, 2021 at 2:45 PM macia kk wrote:
> 图就是哪个报错
>
> 建表语句如下,表示公共表,我也没有改的权限.
>
> CREATE EXTERNAL TABLE `exchange_rate`(`grass_region` string COMMENT
> 'country', `currency` string COMMENT 'currency', `exchange_rate`
> decimal(25,10) COMMENT 'exchange rate')
> PARTITIO
图就是哪个报错
建表语句如下,表示公共表,我也没有改的权限.
CREATE EXTERNAL TABLE `exchange_rate`(`grass_region` string COMMENT
'country', `currency` string COMMENT 'currency', `exchange_rate`
decimal(25,10) COMMENT 'exchange rate')
PARTITIONED BY (`grass_date` date COMMENT 'partition key, -MM-dd')
ROW FORMAT SERDE 'org.
你好,图挂了,可以贴一下hive建表的DDL和join的语句是怎么写的么?
On Mon, Feb 8, 2021 at 10:33 AM macia kk wrote:
> Currently the join key in Temporal Table Join can not be empty.
>
> 我的 Hive 表 join DDL 没有设置 is not null ,但是都是有值的,还是会报这个错
>
> [image: image.png]
>
--
Best regards!
Rui Li
Currently the join key in Temporal Table Join can not be empty.
我的 Hive 表 join DDL 没有设置 is not null ,但是都是有值的,还是会报这个错
[image: image.png]