FlinkSQL vs DataStream API 对硬件的需求

2022-02-17 文章 Pinjie Huang
Hi all, 同样一个task 用flinksql 写和DataStreamAPI写比较,是否会占用更多的CPU和memory?是否有performance 比较的benchmark? Thanks, Pinjie Huang

Flink SQL Calcite 解析出错

2021-12-24 文章 Pinjie Huang
我的原SQL: CREATE TABLE consumer_session_created ( consumer ROW (consumerUuid STRING), clientIp STRING, deviceId STRING, eventInfo ROW < eventTime BIGINT >, ts AS TO_TIMESTAMP(FROM_UNIXTIME(eventInfo.eventTime / 1000, '-MM-dd HH:mm:ss')), WATERMARK FOR ts AS ts - INTERVAL '5' SECOND ) WITH (

Flink SQL 有办法access State吗

2021-12-13 文章 Pinjie Huang
之前的DataStream API 我们可以通过State进行一些复杂的逻辑。比如所有message的某个field的最大值。Flink SQL有类似的方法吗?

Flink 升级到1.13.2后出现新的问题

2021-12-12 文章 Pinjie Huang
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: org.apache.flink.table.planner.codegen.CodeGenException: TIMESTAMP_LTZ only supports diff between the same type.

Time attribute will be lost after two(or more) table joining

2021-11-28 文章 Pinjie Huang
Hi Friends,However, we found that the time attribute will be lost after table joining, which means that we cannot do the joining and aggregation at one SQL query statement. There will be no output after the above SQL querying, for SQL queries on streaming tables, the time_attr argument of the

Re: 如何实现event triggered window?

2021-11-22 文章 Pinjie Huang
的场景是近实时累计统计,你可以参考下window TVF 看下是否满足 > > > > > https://flink-learning.org.cn/article/detail/a8b0895d4271bf6b770927eea214612d?tab=SQL=1 > > 具体在第2章第一节 > > > > Pinjie Huang 于2021年11月22日周一 > 下午3:52写道: > > > > > Hi friends, > > > > > >

如何实现event triggered window?

2021-11-21 文章 Pinjie Huang
Hi friends, Flink 自带的window 有tumlbing sliding 和 session 但是似乎没有event triggerred。 比如说 想知道过去1小时event A trigger的次数, 如果使用tumbling window和1h window |1h | 1h | t=0 在t=1.5h时刻,读取数据,是t=1h 时刻过去一小时的数据,而不是实时的。 使用sliding window 的话需要define非常小的slide,而且依旧可能有延迟。 如果想知道实时的数据,需要基于event来更新state,如何实现event triggered