Re: 社区有人实现过Flink的MongodbSource吗?

2021-02-24 文章 Paul Lam
Hi Even,

我没有实际使用过,不过根据 Debezium 文档 [1] 和我了解到的用户反馈,存量读取和实时增量读取都是支持的。

[1] 
https://debezium.io/documentation/reference/connectors/mongodb.html#mongodb-streaming-changes

Best,
Paul Lam

> 2021年2月24日 17:08,Evan  写道:
> 
> 好的,十分感谢,我调研一下,之前网上搜了一些资料,实现的只能批量读取,读完程序就停止了,不能一直实时的增量读取
> 
> 
> 
> 
> 发件人: Paul Lam
> 发送时间: 2021-02-24 17:03
> 收件人: user-zh
> 主题: Re: 社区有人实现过Flink的MongodbSource吗?
> Hi,
> 
> Debezium 支持 MongoDB CDC[1],可以了解下。
> 
> [1] https://debezium.io/documentation/reference/connectors/mongodb.html
> 
> Best,
> Paul Lam
> 
>> 2021年2月24日 16:23,Evan  写道:
>> 
>> 
>> 有人完整的实现Flink的MongodbSource吗
>> 如题,现在有一个需求,需要Flink能实时读取MongoDB中数据变化
>> 
>> 
> 



Re: 社区有人实现过Flink的MongodbSource吗?

2021-02-24 文章 Paul Lam
据我所知暂时没有。不过我所在公司内部有很多 mongodb 使用,因此我们也有计划开发 mongodb connector(主要是作为 sink)。
之前因为等 FLIP-143 新接口搁置了一下计划,最近可以重启。

如果顺利的话,我们预计放到 bahir 上或贡献给 mongo 社区(考虑到 flink 社区现在对新增 connector 到主 repo 比较谨慎)。

Best,
Paul Lam

> 2021年2月24日 18:16,林影  写道:
> 
> 请问flink的mongodb connector这块后续有计划吗
> 
> Evan  于2021年2月24日周三 下午5:08写道:
> 
>> 好的,十分感谢,我调研一下,之前网上搜了一些资料,实现的只能批量读取,读完程序就停止了,不能一直实时的增量读取
>> 
>> 
>> 
>> 
>> 发件人: Paul Lam
>> 发送时间: 2021-02-24 17:03
>> 收件人: user-zh
>> 主题: Re: 社区有人实现过Flink的MongodbSource吗?
>> Hi,
>> 
>> Debezium 支持 MongoDB CDC[1],可以了解下。
>> 
>> [1] https://debezium.io/documentation/reference/connectors/mongodb.html
>> 
>> Best,
>> Paul Lam
>> 
>>> 2021年2月24日 16:23,Evan  写道:
>>> 
>>> 
>>> 有人完整的实现Flink的MongodbSource吗
>>> 如题,现在有一个需求,需要Flink能实时读取MongoDB中数据变化
>>> 
>>> 
>> 
>> 



Re: Re: 社区有人实现过Flink的MongodbSource吗?

2021-02-24 文章 林影
请问flink的mongodb connector这块后续有计划吗

Evan  于2021年2月24日周三 下午5:08写道:

> 好的,十分感谢,我调研一下,之前网上搜了一些资料,实现的只能批量读取,读完程序就停止了,不能一直实时的增量读取
>
>
>
>
> 发件人: Paul Lam
> 发送时间: 2021-02-24 17:03
> 收件人: user-zh
> 主题: Re: 社区有人实现过Flink的MongodbSource吗?
> Hi,
>
> Debezium 支持 MongoDB CDC[1],可以了解下。
>
> [1] https://debezium.io/documentation/reference/connectors/mongodb.html
>
> Best,
> Paul Lam
>
> > 2021年2月24日 16:23,Evan  写道:
> >
> >
> > 有人完整的实现Flink的MongodbSource吗
> > 如题,现在有一个需求,需要Flink能实时读取MongoDB中数据变化
> >
> >
>
>


Re: Re: 社区有人实现过Flink的MongodbSource吗?

2021-02-24 文章 Evan
好的,十分感谢,我调研一下,之前网上搜了一些资料,实现的只能批量读取,读完程序就停止了,不能一直实时的增量读取



 
发件人: Paul Lam
发送时间: 2021-02-24 17:03
收件人: user-zh
主题: Re: 社区有人实现过Flink的MongodbSource吗?
Hi,
 
Debezium 支持 MongoDB CDC[1],可以了解下。
 
[1] https://debezium.io/documentation/reference/connectors/mongodb.html
 
Best,
Paul Lam
 
> 2021年2月24日 16:23,Evan  写道:
> 
> 
> 有人完整的实现Flink的MongodbSource吗
> 如题,现在有一个需求,需要Flink能实时读取MongoDB中数据变化
> 
> 
 


Re: 社区有人实现过Flink的MongodbSource吗?

2021-02-24 文章 Paul Lam
Hi,

Debezium 支持 MongoDB CDC[1],可以了解下。

[1] https://debezium.io/documentation/reference/connectors/mongodb.html

Best,
Paul Lam

> 2021年2月24日 16:23,Evan  写道:
> 
> 
> 有人完整的实现Flink的MongodbSource吗
> 如题,现在有一个需求,需要Flink能实时读取MongoDB中数据变化
> 
>