format的角度去解析数据。
这当然引入了一些问题，例如当利用upsert-kafka读取数据的时候需要维护一个state以记住读取的所有的key。
Best,
Shengkai
刘首维 于2021年3月15日周一 上午11:48写道：
> Hi all,
>
>
>
> 最近在测试Upsert Kafka，在验证的过程中，发现Validation的时候要求format的changelog-mode
> 必须是insert-only的，请问这是什么原因呢。
>
> 如果不是的话，请直接指正我，谢谢。
>
>
>
>
>
> Flink version 1.12.1
>
Hi all,
最近在测试Upsert Kafka，在验证的过程中，发现Validation的时候要求format的changelog-mode
必须是insert-only的，请问这是什么原因呢。
如果不是的话，请直接指正我，谢谢。
Flink version 1.12.1
Hi,
我的做法如我所说，是用反射将parser拿出来的，比较hack但是很简单而且很稳妥
代码差不多就是下面这个样子
Flink version： custom version base on 1.11.x
@PostConstruct
private void setup() throws NoSuchFieldException, IllegalAccessException {
final StreamTableEnvironmentImpl env = (StreamTableEnvironmentImpl)
Hi,
我之前跟你有相同的需求，实现方式也跟你的思路基本类似， mock一个env 然后反射获取calciteParserSupplier
目前在生产环境运行良好
FYI
发件人: 马阳阳
发送时间: 2020年10月19日 17:57:47
收件人: Flink中文邮件列表
主题: Flink 1.11里如何parse出未解析的执行计划
Flink
Hi all,
今天在调试1.11 Flink 代码的时候，发现一个没太理解的现象
考虑以下code
bsTableEnv.executeSql("create database a")
bsTableEnv.executeSql( " CREATE TABLE a.b "(后略))
bsTableEnv.executeSql("select * from a.b")
然后发现了以下现象：
[cid:5272e061-1d69-4e6a-b23b-fe09be09ade4]
Hi,
试一下java的BigInteger呢
发件人: nashcen <2415370...@qq.com>
发送时间: 2020年9月22日 16:29:41
收件人: user-zh@flink.apache.org
主题: Flink-1.11.1 Kafka Table API BigInt 问题
*我的代码如下*
其中 updateTime 字段，是时间戳，用的BigInt。如果只查询其他String类型的字段，程序正常。但是加上这个字段，就会报错。
package
Hi all,
请问`org.apache.flink.types.Row`和`org.apache.flink.table.data.RowData`的区别和联系是？
们会根据你提供的场景进行后续讨论。
Best,
Godfrey
刘首维 于2020年7月22日周三 下午5:23写道：
> Hi, Jark
>
>
>
>感谢你的建议！
>
>我们这边充分相信社区在SQL/Table上的苦心孤诣，也愿意跟进Flink在新版本的变化。
>
>先看我遇到问题本身，你的建议确实可以帮助我解决问题。我想聊一下我对问题之外的一些想法
>
>```
>
> > 2. 我们目前封装了一些自己的Sink，我们会在Si
: 2020年7月22日 16:33:45
收件人: user-zh
抄送: godfrey he; greemqq...@163.com; 刘首维
主题: Re: 关于1.11Flink SQL 全新API设计的一些问题
Hi，首维，
非常感谢反馈。与 DataStream 解耦是 FLIP-95 的一个非常重要的设计目标，这让 sink/source 对于框架来说不再是黑盒，
因此将来才可以做诸如 state 兼容升级、消息顺序保障、自动并发设置等等事情。
关于你的一些需求，下面是我的建议和回复：
> 1. 我们现在有某种特定的Kafka数据格式，1条Kafka数据
&g
, 2020 at 1:49 PM 刘首维 wrote:
> Hi JingSong,
>
>
> 简单介绍一下背景，我们组的一个工作就是用户在页面写Sql,我们负责将Sql处理转换成Flink作业并在我们的平台上运行，这个转换的过程依赖我们的SQL
> SDK
> 下面我举几个我们比较常用且感觉用1.11新API不太好实现的例子
>
>
> 1. 我们现在有某种特定的Kafka数据格式，1条Kafka数据
> 会对应转换n（n为正整数）条Row数据，我们的做法是在emitDataStream的时候增加了一个proces
...@gmail.com
主题: Re: 关于1.11Flink SQL 全新API设计的一些问题
可以分享下你们为啥要拿到DataStream吗？什么场景一定离不开DataStream吗？
Best
Jingsong
On Wed, Jul 22, 2020 at 12:36 PM 刘首维 wrote:
> Hi all,
>
>
>
> 很高兴看到Flink 1.11的发布，FLIP95和FLIP105也成功落地~
>
> 我们最近在调研基于1.11的SQL/Table API对我们旧有的SQL
> SDK进行
Hi all,
很高兴看到Flink 1.11的发布，FLIP95和FLIP105也成功落地~
我们最近在调研基于1.11的SQL/Table API对我们旧有的SQL
hi all, 我在想如果社区提供一个unified metastore
server是不是会解决这个问题，然后写一个（一系列）catalog和这个metastore对应
发件人: Jark Wu
发送时间: 2020年7月22日 11:22:56
收件人: user-zh
主题: Re: Flink catalog的几个疑问
非常欢迎贡献开源一个轻量的 catalog 实现 :)
On Wed, 22 Jul 2020 at 10:53, Jingsong Li wrote:
> Hi,
>
>
Hi all,
今天发现有一个作业日志中连续打印下面这个报警
"Committing offsets to Kafka takes longer than the checkpoint interval.
Skipping commit of previous offsets because newer complete checkpoint offsets
are available. This does not compromise Flink's checkpoint integrity."
导致作业卡住无法继续消费Kafka topic
Hi,
我们这边做了人为生成retract记录的尝试，也是用在了binlog上，结果上还是可以的但是改造成本还是比较高的，需要自己添加对应的关系算子和优化规则。此外，这样做（有可能）会干扰执行计划的优化，期待FLIP105和95的落地！
发件人: lec ssmi
发送时间: 2020年4月26日 10:07:48
收件人: flink-user-cn
主题: 人为生成retract记录
Hi:
假设我现在将上游retract后的结果写入到kafka，然后下游程序消费kafka去做聚合操作。
人: 刘首维
抄送: user-zh
主题: Re: 关于Flink SQL UDAF中调用createAccumulator的调用问题
Hi 首维，
这里说的是同一个key会创建一次，所以你看到一个AggFunction会创建多次更这个并不冲突，因为一个AggFunction属于一个subtask维度的，一个subtask处理不止一个key的。
你的第二个问题：
> 我个人理解Flink Streaming SQL其实实现上物化视图的增量更新算法很像（这块不确定思考的正确性），那么在嵌套group
> by或者接join后是不是会有更新放大（amplify）问题，同时由于
要更新state的情况。
刘首维 于2020年4月21日周二 下午5:37写道：
> Hi all,
>
>
>
>最近有几个疑问没能很好地理解清楚：
>
>
>
>我们都知道，UDAF中的有createAccumulator这个方法，那么：
>
> 这个方法的调用时机是什么呢，会被调用几次呢？
>
> 一个accumulator的生命周期是怎么样的？
>
> 一个accumulator会被反复的序列化反序列化吗？
>
>
> 麻烦了解相关细节的
Hi all,
最近有几个疑问没能很好地理解清楚：
我们都知道，UDAF中的有createAccumulator这个方法，那么：
这个方法的调用时机是什么呢，会被调用几次呢？
一个accumulator的生命周期是怎么样的？
一个accumulator会被反复的序列化反序列化吗？
麻烦了解相关细节的社区的同学们帮忙解答一下~
先谢谢啦
18 matches
Mail list logo
