>我司基于最新提供流批一体的接口，实现了mongodb的连接器，支持source和sink，实现了控制批量插入频率、控制缓存批的数据量和mongo文档对象和java对象转换，同时还可选择批量更新，并且使用的mongo最新异步驱动，后期我还会不断优化性能，看大佬能否推动一下，把这个连接器贡献给社区
问一下自己开发的连接器要怎么添加到 https://flink-packages.org/ 网站给大家搜索到？这位朋友能够将你们的连接器贡献上去呢？
在 2021-09-23 09:32:39，"2572805166"
多个Job跑在一个Session中，如何区分不同job的日志呢？目前有什么好的办法吗？
我司基于最新提供流批一体的接口，实现了mongodb的连接器，支持source和sink，实现了控制批量插入频率、控制缓存批的数据量和mongo文档对象和java对象转换，同时还可选择批量更新，并且使用的mongo最新异步驱动，后期我还会不断优化性能，看大佬能否推动一下，把这个连接器贡献给社区
-- 原始邮件 --
发件人: "Yun Tang";
发件时间: 2021-09-22 10:55
收件人: "user-zh@flink.apache.org";
主题: Re: 回复：Flink
sql??sql??
iPhone
-- --
??: 2572805166 <2572805...@qq.com.INVALID
: 2021??9??23?? 09:23
??: user-zh
sql??sql
iPhone
-- --
??: 2572805166 <2572805...@qq.com.INVALID
: 2021923 09:23
??: user-zh
使用java的动态编译和类加载技术，实现类似于web项目的热加载
-- 原始邮件 --
发件人: "JasonLee"<17610775...@163.com;
发件时间: 2021-09-22 22:33
收件人: "user-zh@flink.apache.org";
主题: 回复： flink sql是否支持动态创建sink table?
hi 事实上这个跟构建 graph 没有太大的关系 也不用在构建后调整 在构造 producer 的时候 topic 不要写死 自定义
“在 datastream api 任务是可以的”
这样是可行的吗，我的理解flink是要先构建好graph之后才能运行，graph构建好之后可能没办法再动态调整了，除非写一个自定义的sink，自己实现逻辑
在2021年09月22日 19:25，JasonLee<17610775...@163.com> 写道：
hi
这个我理解在 SQL 任务里面目前是没办法做到的 在 datastream api 任务是可以的
Best
JasonLee
在2021年9月22日 11:35，酷酷的浑蛋 写道：
hi
这个我理解在 SQL 任务里面目前是没办法做到的 在 datastream api 任务是可以的
Best
JasonLee
在2021年9月22日 11:35，酷酷的浑蛋 写道：
我也有这个需求，意思就是topic里实时新增了一种日志，然后想动态创建对应新的日志的topic表，并写入到新的topic表，在一个任务中完成
| |
apache22
|
|
apach...@163.com
|
签名由网易邮箱大师定制
在2021年09月22日 11:23，Caizhi Weng 写道：
Hi！
不太明白这个需求，但如果希望发送给不同的 topic，需要给每个
hi
图片看不到 我猜大概有两种情况 第一种是你的 source 本身就存在数据倾斜 某几个分区的数据量比其他分区的多 需要修改数据写入 kafka
分区策略让数据尽量均匀 第二种是你的下游计算的时候出现数据倾斜(或其他原因)导致任务反压到 source 端 这种情况需要根据实际的情况采用不同的解决方案
单纯的增加并发和改变 slot 数量没有什么效果
Best
JasonLee
在2021年9月22日 09:22，casel.chen 写道：
kafka topic有32个分区，实时作业开了32个并行度消费kafka
11 matches
Mail list logo
