Flink SQL No Watermark

Tue, 11 Aug 2020 02:14:09 -0700 

大家好，请教一个问题


           我有一条进行 session window 的 sql。这条 sql 消费较少数据量的 topic 的时候，是可以生成 
watermark。消费大量的数据的时候，就无法生成watermark。
           一直是    No Watermark。 暂时找不到排查问题的思路。
          Flink 版本号是 1.10，kafka 中消息是有时间的，其他的任务是可以拿到这个时间生成watermark。同时设置了 
EventTime mode 模式，Blink Planner。
|
No Watermark |
           SQL如下


          DDL：
           create table test(
                       user_id varchar,
                       action varchar,
                       event_time TIMESTAMP(3),
                       WATERMARK FOR event_time AS event_time - INTERVAL '10' 
SECOND
           ) with();


          DML：
insert into
  console
select
  user_id,
  f_get_str(bind_id) as id_list
from
  (
    select
      action as bind_id,
      user_id,
      event_time
    from
      (
        SELECT
          user_id,
          action,
          PROCTIME() as proc_time,
          event_time
        FROM
          test
      ) T
    where
      user_id is not null
      and user_id <> ''
      and CHARACTER_LENGTH(user_id) = 24
  ) T
group by
  SESSION(event_time, INTERVAL '10' SECOND),
  user_id
 
Best forideal

回复