如何通过Flink-sql 实现3个kafka-topic的join以及后续的窗口聚合计算操作？

Mon, 09 Aug 2021 18:36:06 -0700 

同行们，大家好，

请教一个问题，现在有3个kafka的topic：device  consumer order
想用Flink-sql计算出多个聚合指标，比如：过去12小时，每个deviceid下的订单量。
我是这么设计的：

  1.  先通过 create table   with(...='kafka') ... 注册出 table1 table2 table3  
，指定事件时间、water mark
  2.  进行3张表的关联：

create temporary view wide_table as (
  select       ***
  from       table1
  join       table2          on ...
  join       table3          on ...
 )

  1.  在wide-table上进行聚合计算：

select deviceId
     ,HOP_START(voc.timestamp, INTERVAL '5' SECOND , INTERVAL '10' SECOND)
     ,count(1) as cnt
from wide_table as voc
group by HOP(voc.timestamp, INTERVAL '5' SECOND , INTERVAL '10' SECOND)
       ,deviceId

任务开始运行之后，一直没有聚合计算的结果，通过 select * from wide_table 可以看到明细。

经过很长一段时间的搜索，发现table1/2/3中的time-attr的字段，在经过join之后，time-attr属性会被丢弃，进而无法在窗口中使用。

请问大家，像这种多个topic的join，然后再聚合操作，用Flink-sql实现的话，怎么做呢？还是我使用方式上有问题呢？

非常感谢！！！

回复