020年7月22日 17:49:27
> 收件人: user-zh
> 抄送: Jark Wu; xbjt...@gmail.com; jingsongl...@gmail.com
> 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题
>
> Hi,首维
>
> 感谢给出非常详细的反馈。这个问题我们之前内部也有一些讨论,但由于缺乏一些真实场景,最后维持了当前的接口。
> 我们会根据你提供的场景进行后续讨论。
>
> Best,
> Godfrey
>
> 刘首维 于2020年7月22日周三 下午5
Hi, godfrey
好的,如果可以的话,有了相关讨论的jira或者mail可以cc一下我吗,谢谢啦
发件人: godfrey he
发送时间: 2020年7月22日 17:49:27
收件人: user-zh
抄送: Jark Wu; xbjt...@gmail.com; jingsongl...@gmail.com
主题: Re: 关于1.11Flink SQL 全新API设计的一些问题
Hi,首维
感谢给出非常详细的反馈。这个问题我们之前内部也有一些讨论,但由于缺乏一些真实场景,最后维持了当前的接口。
我
;
>诚然,DataStream的灵活性确实会是一把双刃剑,但就像@leonard提到的,平台层和应用层的目的和开发重点可能也不太一样,对Flink
> API使用侧重点也不同。我个人还是希望可以在享受全新API设计优势同时,
>
> 可以继续使用DataStream(Transformation)的灵活性,助力Flink组件在我们组的开落地
>
>
> 再次感谢各位的回复!
>
>
> 发件人: Jark Wu
> 发送时间: 2020年7月2
: 2020年7月22日 16:33:45
收件人: user-zh
抄送: godfrey he; greemqq...@163.com; 刘首维
主题: Re: 关于1.11Flink SQL 全新API设计的一些问题
Hi,首维,
非常感谢反馈。与 DataStream 解耦是 FLIP-95 的一个非常重要的设计目标,这让 sink/source 对于框架来说不再是黑盒,
因此将来才可以做诸如 state 兼容升级、消息顺序保障、自动并发设置等等事情。
关于你的一些需求,下面是我的建议和回复:
> 1. 我们现在有某种特定的Kafka数据格式,1条Kafka数据
&g
缓冲池/微批/数据过滤等功能
> > 3. 调整或者指定Source/Sink并行度为用户指定值,我们也是在DataStream层面上去做的
> > 4. 对于一些特殊Source Sink,他们会和KeyBy操作组合(对用户透明),我们也是在DataStream层面上去做的
> >
> >
> > 如果可以的话,能让我在API层面拿到Transformation也是能满足我需求的
> >
> >
> > ________
> >
urce/Sink并行度为用户指定值,我们也是在DataStream层面上去做的
> 4. 对于一些特殊Source Sink,他们会和KeyBy操作组合(对用户透明),我们也是在DataStream层面上去做的
>
>
> 如果可以的话,能让我在API层面拿到Transformation也是能满足我需求的
>
>
>
> 发件人: Jingsong Li
> 发送时间: 2020年7月22日 13:26:00
> 收件人: user-zh
> 抄送
>
>
>如果可以的话,能让我在API层面拿到Transformation也是能满足我需求的
>
>
>
>发件人: Jingsong Li
>发送时间: 2020年7月22日 13:26:00
>收件人: user-zh
>抄送: imj...@gmail.com
>主题: Re: 关于1.11Flink SQL 全新API设计的一些问题
>
>可以分享下你们为啥要拿到DataStream吗?什么场景一定离不开DataStream吗?
>
>Best
&
Hi JingSong,
感谢回复,真心期待一个理想的解决方案~
发件人: Jingsong Li
发送时间: 2020年7月22日 13:58:51
收件人: user-zh; Jark Wu
主题: Re: 关于1.11Flink SQL 全新API设计的一些问题
Hi 首维,
非常感谢你的信息,我们试图 去掉太灵活的“DataStream”,但是也逐渐发现一些额外的需求,再考虑和评估下你的需求。
CC: @Jark Wu
Best,
Jingsong
On Wed, Jul 22
殊Source Sink,他们会和KeyBy操作组合(对用户透明),我们也是在DataStream层面上去做的
>
>
> 如果可以的话,能让我在API层面拿到Transformation也是能满足我需求的
>
>
>
> 发件人: Jingsong Li
> 发送时间: 2020年7月22日 13:26:00
> 收件人: user-zh
> 抄送: imj...@gmail.com
> 主题: Re: 关于1.11Flink SQL 全新API设计的一些
...@gmail.com
主题: Re: 关于1.11Flink SQL 全新API设计的一些问题
可以分享下你们为啥要拿到DataStream吗?什么场景一定离不开DataStream吗?
Best
Jingsong
On Wed, Jul 22, 2020 at 12:36 PM 刘首维 wrote:
> Hi all,
>
>
>
> 很高兴看到Flink 1.11的发布,FLIP95和FLIP105也成功落地~
>
> 我们最近在调研基于1.11的SQL/Table API对我们旧有的SQL
> SDK进行
可以分享下你们为啥要拿到DataStream吗?什么场景一定离不开DataStream吗?
Best
Jingsong
On Wed, Jul 22, 2020 at 12:36 PM 刘首维 wrote:
> Hi all,
>
>
>
> 很高兴看到Flink 1.11的发布,FLIP95和FLIP105也成功落地~
>
> 我们最近在调研基于1.11的SQL/Table API对我们旧有的SQL
>
Hi all,
很高兴看到Flink 1.11的发布,FLIP95和FLIP105也成功落地~
我们最近在调研基于1.11的SQL/Table API对我们旧有的SQL
12 matches
Mail list logo