Re: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 Jark Wu
020年7月22日 17:49:27 > 收件人: user-zh > 抄送: Jark Wu; xbjt...@gmail.com; jingsongl...@gmail.com > 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 > > Hi,首维 > > 感谢给出非常详细的反馈。这个问题我们之前内部也有一些讨论,但由于缺乏一些真实场景,最后维持了当前的接口。 > 我们会根据你提供的场景进行后续讨论。 > > Best, > Godfrey > > 刘首维 于2020年7月22日周三 下午5

答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 刘首维
Hi, godfrey 好的,如果可以的话,有了相关讨论的jira或者mail可以cc一下我吗,谢谢啦 发件人: godfrey he 发送时间: 2020年7月22日 17:49:27 收件人: user-zh 抄送: Jark Wu; xbjt...@gmail.com; jingsongl...@gmail.com 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 Hi,首维 感谢给出非常详细的反馈。这个问题我们之前内部也有一些讨论,但由于缺乏一些真实场景,最后维持了当前的接口。 我

Re: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 godfrey he
; >诚然,DataStream的灵活性确实会是一把双刃剑,但就像@leonard提到的,平台层和应用层的目的和开发重点可能也不太一样,对Flink > API使用侧重点也不同。我个人还是希望可以在享受全新API设计优势同时, > > 可以继续使用DataStream(Transformation)的灵活性,助力Flink组件在我们组的开落地 > > > 再次感谢各位的回复! > > > 发件人: Jark Wu > 发送时间: 2020年7月2

答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 刘首维
: 2020年7月22日 16:33:45 收件人: user-zh 抄送: godfrey he; greemqq...@163.com; 刘首维 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 Hi,首维, 非常感谢反馈。与 DataStream 解耦是 FLIP-95 的一个非常重要的设计目标,这让 sink/source 对于框架来说不再是黑盒, 因此将来才可以做诸如 state 兼容升级、消息顺序保障、自动并发设置等等事情。 关于你的一些需求,下面是我的建议和回复: > 1. 我们现在有某种特定的Kafka数据格式,1条Kafka数据 &g

Re: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 Jark Wu
缓冲池/微批/数据过滤等功能 > > 3. 调整或者指定Source/Sink并行度为用户指定值,我们也是在DataStream层面上去做的 > > 4. 对于一些特殊Source Sink,他们会和KeyBy操作组合(对用户透明),我们也是在DataStream层面上去做的 > > > > > > 如果可以的话,能让我在API层面拿到Transformation也是能满足我需求的 > > > > > > ________ > >

Re: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 Leonard Xu
urce/Sink并行度为用户指定值,我们也是在DataStream层面上去做的 > 4. 对于一些特殊Source Sink,他们会和KeyBy操作组合(对用户透明),我们也是在DataStream层面上去做的 > > > 如果可以的话,能让我在API层面拿到Transformation也是能满足我需求的 > > > > 发件人: Jingsong Li > 发送时间: 2020年7月22日 13:26:00 > 收件人: user-zh > 抄送

Re:答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 Michael Ran
> > >如果可以的话,能让我在API层面拿到Transformation也是能满足我需求的 > > > >发件人: Jingsong Li >发送时间: 2020年7月22日 13:26:00 >收件人: user-zh >抄送: imj...@gmail.com >主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 > >可以分享下你们为啥要拿到DataStream吗?什么场景一定离不开DataStream吗? > >Best &

答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 刘首维
Hi JingSong, 感谢回复,真心期待一个理想的解决方案~ 发件人: Jingsong Li 发送时间: 2020年7月22日 13:58:51 收件人: user-zh; Jark Wu 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 Hi 首维, 非常感谢你的信息,我们试图 去掉太灵活的“DataStream”,但是也逐渐发现一些额外的需求,再考虑和评估下你的需求。 CC: @Jark Wu Best, Jingsong On Wed, Jul 22

Re: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 Jingsong Li
殊Source Sink,他们会和KeyBy操作组合(对用户透明),我们也是在DataStream层面上去做的 > > > 如果可以的话,能让我在API层面拿到Transformation也是能满足我需求的 > > > > 发件人: Jingsong Li > 发送时间: 2020年7月22日 13:26:00 > 收件人: user-zh > 抄送: imj...@gmail.com > 主题: Re: 关于1.11Flink SQL 全新API设计的一些

答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-21 文章 刘首维
...@gmail.com 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 可以分享下你们为啥要拿到DataStream吗?什么场景一定离不开DataStream吗? Best Jingsong On Wed, Jul 22, 2020 at 12:36 PM 刘首维 wrote: > Hi all, > > > > 很高兴看到Flink 1.11的发布,FLIP95和FLIP105也成功落地~ > > 我们最近在调研基于1.11的SQL/Table API对我们旧有的SQL > SDK进行

Re: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-21 文章 Jingsong Li
可以分享下你们为啥要拿到DataStream吗?什么场景一定离不开DataStream吗? Best Jingsong On Wed, Jul 22, 2020 at 12:36 PM 刘首维 wrote: > Hi all, > > > > 很高兴看到Flink 1.11的发布,FLIP95和FLIP105也成功落地~ > > 我们最近在调研基于1.11的SQL/Table API对我们旧有的SQL >

关于1.11Flink SQL 全新API设计的一些问题

2020-07-21 文章 刘首维
Hi all, 很高兴看到Flink 1.11的发布,FLIP95和FLIP105也成功落地~ 我们最近在调研基于1.11的SQL/Table API对我们旧有的SQL