用Flink Table API和RocksDB不能正常升级状态数据结构

2023-04-14 文章 Elvis Chen
我们正在使用flink-1.16.0的Table API和RocksDB作为后端,为我们的用户提供运行SQL queries的服务。表格是使用Avro模式创建的,当以兼容的方式更改模式,例如添加一个带默认值的field时,我们无法从savepoint恢复作业。这是在数据结构升级后的报错: Caused by: org.apache.flink.util.StateMigrationException: The new state serializer (org.apache.flink.table.runtime.typeutils.RowDataSerializer@aad5b03a)

Re: 退订

2023-04-14 文章 daniel sun
退订 zjw 于2023年4月14日 周五下午7:17写道: >

流数据转化为json

2023-04-14 文章 小昌同学
你好,请问一下上游的数据是 SingleOutputStreamOperator outPutInfoStream = keyedStream.process(new KeyStreamFunc()); 数据样式为:InPutInfo[phone='123456',workId='001'] 我想直接将这个流输入到kafka中,直接使用addsink算子,但是查看kafka日志发现,数据内容没有插入进来,想请教一下有没有什么解决方案; 我现在自己想着将流中的数据转换为json,但是我使用了gson以及fastjson都不行,请各位大佬指点 | | 小昌同学 | |

回复:flink sink web ui显示为Sink: Unnamed

2023-04-14 文章 小昌同学
好滴,谢谢各位老师 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | hjw | | 发送日期 | 2023年4月14日 16:38 | | 收件人 | | | 主题 | Re:flink sink web ui显示为Sink: Unnamed | 可以在算子后面调用.name()方法指定名称,方法参数就是算子名称。 比如需sink的流为stream stream.sinkTo(Sink算子).name("sink-name") -- Best, Hjw 在 2023-04-14

退订

2023-04-14 文章 zjw

退订

2023-04-14 文章 huang huang

Re: flink sink web ui显示为Sink: Unnamed

2023-04-14 文章 Weihua Hu
可以,在算子后可以通过 .name("xxx") 来命名 Best, Weihua On Fri, Apr 14, 2023 at 4:27 PM 小昌同学 wrote: > 我将流式数据输出到mysql,查看flink 自带的web ui界面,有一个sink节点显示为Sink: Unnamed > ,这个针对sink节点可以命名嘛 > > > | | > 小昌同学 > | > | > ccc0606fight...@163.com > |

Re:flink sink web ui显示为Sink: Unnamed

2023-04-14 文章 hjw
可以在算子后面调用.name()方法指定名称,方法参数就是算子名称。 比如需sink的流为stream stream.sinkTo(Sink算子).name("sink-name") -- Best, Hjw 在 2023-04-14 16:26:35,"小昌同学" 写道: >我将流式数据输出到mysql,查看flink 自带的web ui界面,有一个sink节点显示为Sink: Unnamed ,这个针对sink节点可以命名嘛 > > >| | >小昌同学 >| >| >ccc0606fight...@163.com >|

flink sink web ui显示为Sink: Unnamed

2023-04-14 文章 小昌同学
我将流式数据输出到mysql,查看flink 自带的web ui界面,有一个sink节点显示为Sink: Unnamed ,这个针对sink节点可以命名嘛 | | 小昌同学 | | ccc0606fight...@163.com |

回复:打印不同流怎么进行区分

2023-04-14 文章 小昌同学
好滴,谢谢您 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | 17610775726<17610775...@163.com> | | 发送日期 | 2023年4月14日 10:27 | | 收件人 | user-zh@flink.apache.org | | 抄送人 | user-zh | | 主题 | 回复:打印不同流怎么进行区分 | Hi Print 方法是可以传入一个参数的,用来标识某个流,比如 print(“a”); print(“b"); Best JasonLee