答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 刘首维
Hi, godfrey 好的,如果可以的话,有了相关讨论的jira或者mail可以cc一下我吗,谢谢啦 发件人: godfrey he 发送时间: 2020年7月22日 17:49:27 收件人: user-zh 抄送: Jark Wu; xbjt...@gmail.com; jingsongl...@gmail.com 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 Hi,首维 感谢给出非常详细的反馈。这个问题我们之前内部也有一些讨论,但由于缺乏一些真实场景,最后维持了当前的接口。

答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 刘首维
Hi, Jark 感谢你的建议! 我们这边充分相信社区在SQL/Table上的苦心孤诣,也愿意跟进Flink在新版本的变化。 先看我遇到问题本身,你的建议确实可以帮助我解决问题。我想聊一下我对问题之外的一些想法 ``` > 2. 我们目前封装了一些自己的Sink,我们会在Sink之前增加一个process/Filter 用来做缓冲池/微批/数据过滤等功能 这个我觉得也可以封装在 SinkFunction 里面。 ```

Re:答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 Michael Ran
这个需求 我们也比较类似:要获取注册的表信息,自己用stream+table 实现部分逻辑 在 2020-07-22 13:47:25,"刘首维" 写道: >Hi JingSong, > > 简单介绍一下背景,我们组的一个工作就是用户在页面写Sql,我们负责将Sql处理转换成Flink作业并在我们的平台上运行,这个转换的过程依赖我们的SQL > SDK > 下面我举几个我们比较常用且感觉用1.11新API不太好实现的例子 > > > 1. 我们现在有某种特定的Kafka数据格式,1条Kafka数据 >

答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-22 文章 刘首维
Hi JingSong, 感谢回复,真心期待一个理想的解决方案~ 发件人: Jingsong Li 发送时间: 2020年7月22日 13:58:51 收件人: user-zh; Jark Wu 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 Hi 首维, 非常感谢你的信息,我们试图 去掉太灵活的“DataStream”,但是也逐渐发现一些额外的需求,再考虑和评估下你的需求。 CC: @Jark Wu Best, Jingsong On Wed, Jul 22,

答复: 关于1.11Flink SQL 全新API设计的一些问题

2020-07-21 文章 刘首维
Hi JingSong, 简单介绍一下背景,我们组的一个工作就是用户在页面写Sql,我们负责将Sql处理转换成Flink作业并在我们的平台上运行,这个转换的过程依赖我们的SQL SDK 下面我举几个我们比较常用且感觉用1.11新API不太好实现的例子 1. 我们现在有某种特定的Kafka数据格式,1条Kafka数据 会对应转换n(n为正整数)条Row数据,我们的做法是在emitDataStream的时候增加了一个process/FlatMap阶段,用于处理这种情况,这样对用户是透明的。 2.