退订

2021-08-09 文章 xg...@126.com
退订

Flink SQL向下兼容吗?

2021-08-09 文章 Jason Lee
各位大佬好, 请教一个问题,我们最近打算升级Flink 版本,想问一下升级之后的已有任务的SQL会兼容到新版本吗? 比如我升级到1.13,那我1.10的SQL语法能被兼容吗? 感恩 | | Chuang Li | | jasonlee1...@163.com | 签名由网易邮箱大师定制

Re: 如何通过Flink-sql 实现3个kafka-topic的join以及后续的窗口聚合计算操作?

2021-08-09 文章 Caizhi Weng
Hi! 双流 join 操作确实会丢弃 time attribute 字段。如果其中一些表变化不大的话,可以考虑改成维表 join 的形式就能留下 time attribute。如果每张表都很容易变化,可以考虑使用新引入的 event time temporal join[1],肯定能满足需求。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/joins/#event-time-temporal-join wang guanglei 于2021

Re: [ANNOUNCE] Apache Flink 1.13.2 released

2021-08-09 文章 Xintong Song
Thanks Yun and everyone~! Thank you~ Xintong Song On Mon, Aug 9, 2021 at 10:14 PM Till Rohrmann wrote: > Thanks Yun Tang for being our release manager and the great work! Also > thanks a lot to everyone who contributed to this release. > > Cheers, > Till > > On Mon, Aug 9, 2021 at 9:48 AM Yu

如何通过Flink-sql 实现3个kafka-topic的join以及后续的窗口聚合计算操作?

2021-08-09 文章 wang guanglei
同行们,大家好, 请教一个问题,现在有3个kafka的topic:device consumer order 想用Flink-sql计算出多个聚合指标,比如:过去12小时,每个deviceid下的订单量。 我是这么设计的: 1. 先通过 create table with(...='kafka') ... 注册出 table1 table2 table3 ,指定事件时间、water mark 2. 进行3张表的关联: create temporary view wide_table as ( select *** from tabl

Re: [ANNOUNCE] Apache Flink 1.13.2 released

2021-08-09 文章 Till Rohrmann
Thanks Yun Tang for being our release manager and the great work! Also thanks a lot to everyone who contributed to this release. Cheers, Till On Mon, Aug 9, 2021 at 9:48 AM Yu Li wrote: > Thanks Yun Tang for being our release manager and everyone else who made > the release possible! > > Best R

Re: Re: Re: Re: 通过savepoint重启任务,link消费kafka,有重复消息

2021-08-09 文章 Jim Chen
我看flink sql写到kafka的时候,也没有开启事务。所以,这一点,我非常想不通 东东 于2021年8月9日周一 下午5:56写道: > > > > 有未提交的事务才会出现重复呗,也许你重启的时候恰好所有事务都已经提交了呢,比如说,有一段时间流里面没有新数据进来。 > > > 在 2021-08-09 17:44:57,"Jim Chen" 写道: > >有个奇怪的问题:用flink sql去做上面的逻辑,*没有设置isolation.level 为 read_committed,*重启方式用stop > >with savepoint,结果没有重复 > > > >我

Re:Re: Re: Re: 通过savepoint重启任务,link消费kafka,有重复消息

2021-08-09 文章 东东
有未提交的事务才会出现重复呗,也许你重启的时候恰好所有事务都已经提交了呢,比如说,有一段时间流里面没有新数据进来。 在 2021-08-09 17:44:57,"Jim Chen" 写道: >有个奇怪的问题:用flink sql去做上面的逻辑,*没有设置isolation.level 为 read_committed,*重启方式用stop >with savepoint,结果没有重复 > >我理解,flink sql没有设置隔离级别的话,应该会出现重复的。Tell me why.. > >东东 于2021年8月2日周一 下午7:13写道: > >> 从topic

Re: Re: Re: 通过savepoint重启任务,link消费kafka,有重复消息

2021-08-09 文章 Jim Chen
有个奇怪的问题:用flink sql去做上面的逻辑,*没有设置isolation.level 为 read_committed,*重启方式用stop with savepoint,结果没有重复 我理解,flink sql没有设置隔离级别的话,应该会出现重复的。Tell me why.. 东东 于2021年8月2日周一 下午7:13写道: > 从topic B实时写到hive,这个job需要配置 isolation.level 为 > read_committed,否则会把还没有提交甚至是已经终止的事务消息读出来,这样就很难不出现重复了。 > > > 在 2021-08

Re: [ANNOUNCE] Apache Flink 1.13.2 released

2021-08-09 文章 Yu Li
Thanks Yun Tang for being our release manager and everyone else who made the release possible! Best Regards, Yu On Fri, 6 Aug 2021 at 13:52, Yun Tang wrote: > > The Apache Flink community is very happy to announce the release of Apache > Flink 1.13.2, which is the second bugfix release for the