退订
各位大佬好,
请教一个问题,我们最近打算升级Flink 版本,想问一下升级之后的已有任务的SQL会兼容到新版本吗?
比如我升级到1.13,那我1.10的SQL语法能被兼容吗?
感恩
| |
Chuang Li
|
|
jasonlee1...@163.com
|
签名由网易邮箱大师定制
Hi!
双流 join 操作确实会丢弃 time attribute 字段。如果其中一些表变化不大的话,可以考虑改成维表 join 的形式就能留下 time
attribute。如果每张表都很容易变化,可以考虑使用新引入的 event time temporal join[1],肯定能满足需求。
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/joins/#event-time-temporal-join
wang guanglei 于2021
Thanks Yun and everyone~!
Thank you~
Xintong Song
On Mon, Aug 9, 2021 at 10:14 PM Till Rohrmann wrote:
> Thanks Yun Tang for being our release manager and the great work! Also
> thanks a lot to everyone who contributed to this release.
>
> Cheers,
> Till
>
> On Mon, Aug 9, 2021 at 9:48 AM Yu
同行们,大家好,
请教一个问题,现在有3个kafka的topic:device consumer order
想用Flink-sql计算出多个聚合指标,比如:过去12小时,每个deviceid下的订单量。
我是这么设计的:
1. 先通过 create table with(...='kafka') ... 注册出 table1 table2 table3
,指定事件时间、water mark
2. 进行3张表的关联:
create temporary view wide_table as (
select ***
from tabl
Thanks Yun Tang for being our release manager and the great work! Also
thanks a lot to everyone who contributed to this release.
Cheers,
Till
On Mon, Aug 9, 2021 at 9:48 AM Yu Li wrote:
> Thanks Yun Tang for being our release manager and everyone else who made
> the release possible!
>
> Best R
我看flink sql写到kafka的时候,也没有开启事务。所以,这一点,我非常想不通
东东 于2021年8月9日周一 下午5:56写道:
>
>
>
> 有未提交的事务才会出现重复呗,也许你重启的时候恰好所有事务都已经提交了呢,比如说,有一段时间流里面没有新数据进来。
>
>
> 在 2021-08-09 17:44:57,"Jim Chen" 写道:
> >有个奇怪的问题:用flink sql去做上面的逻辑,*没有设置isolation.level 为 read_committed,*重启方式用stop
> >with savepoint,结果没有重复
> >
> >我
有未提交的事务才会出现重复呗,也许你重启的时候恰好所有事务都已经提交了呢,比如说,有一段时间流里面没有新数据进来。
在 2021-08-09 17:44:57,"Jim Chen" 写道:
>有个奇怪的问题:用flink sql去做上面的逻辑,*没有设置isolation.level 为 read_committed,*重启方式用stop
>with savepoint,结果没有重复
>
>我理解,flink sql没有设置隔离级别的话,应该会出现重复的。Tell me why..
>
>东东 于2021年8月2日周一 下午7:13写道:
>
>> 从topic
有个奇怪的问题:用flink sql去做上面的逻辑,*没有设置isolation.level 为 read_committed,*重启方式用stop
with savepoint,结果没有重复
我理解,flink sql没有设置隔离级别的话,应该会出现重复的。Tell me why..
东东 于2021年8月2日周一 下午7:13写道:
> 从topic B实时写到hive,这个job需要配置 isolation.level 为
> read_committed,否则会把还没有提交甚至是已经终止的事务消息读出来,这样就很难不出现重复了。
>
>
> 在 2021-08
Thanks Yun Tang for being our release manager and everyone else who made
the release possible!
Best Regards,
Yu
On Fri, 6 Aug 2021 at 13:52, Yun Tang wrote:
>
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.13.2, which is the second bugfix release for the
10 matches
Mail list logo