Hi,
如果你们可以自己实现一套SQL语句到jobgraph的预编译转换IDE,然后在IDE中可以手动配置jobgraph每个算子的配置,应该是可以达到你们的目的
(可能还需要结合细粒度调度模式)。
祝好
唐云
From: gygz...@163.com
Sent: Thursday, December 9, 2021 16:14
To: user-zh
Subject: 回复: Re: flink sql支持细粒度的状态配置
Hi Yun Tang
感谢你的回复,我们在调研的过程中也发现,正如你所说的生成的
TTL的配置再调用每个execNode转换成operator的方法,来做到Transformation级别的TTL控制,这个配置开放给平台的用户,通过Transformation的id做识别,是否能给一些建议
gygz...@163.com
发件人: Yun Tang
发送时间: 2021-12-09 10:57
收件人: user-zh
主题: Re: flink sql支持细粒度的状态配置
Hi 你好,
我认为这是一个很好的需求,对于data stream以及python API来说,state
TTL都是通过API逐个配置的,你的需求就可以直接满足。但是对于SQL来说,由于
Hi 你好,
我认为这是一个很好的需求,对于data stream以及python API来说,state
TTL都是通过API逐个配置的,你的需求就可以直接满足。但是对于SQL来说,由于相同的SQL语句,不同优化器其生成的执行plan可能会差异很大,很难对某个operator内的state进行TTL进行配置,可能一种方式是增加一些SQL的优化hint,对于你示例中的join语句和groupBy
的count语句配以不同的TTL,但是目前Flink SQL尚未支持该功能。
祝好
唐云
From: gygz...@1