Re: Flink CDC中如何在Snapshot阶段读取数据时进行限流?

2024-01-01 文章 Jiabao Sun
Hi,

GuavaFlinkConnectorRateLimiter 目前只在 flink-connector-gcp-pubsub[1] 有使用。
Flink CDC 还未支持限流[2],目前可以尝试降低 snapshot 并发数来缓解数据库压力。 

Best,
Jiabao

[1] 
https://github.com/apache/flink-connector-gcp-pubsub/blob/f5372f25cfc1954d00a4b2fc9342e8ed5a3ef3ab/flink-connector-gcp-pubsub/src/main/java/org/apache/flink/streaming/connectors/gcp/pubsub/PubSubSource.java#L22
[2] https://github.com/ververica/flink-cdc-connectors/issues/510


> 2024年1月2日 11:39,casel.chen  写道:
> 
> 业务表存量数据很大,如果不加限流直接使用flink cdc读取snapshot阶段数据的话会造成业务库压力,触发数据库告警,影响在线业务。
> 请问Flink CDC中如何在Snapshot阶段读取数据时进行限流?
> 
> 
> 我看到社区之前有人提议过,但issue一直是open状态
> https://issues.apache.org/jira/browse/FLINK-18740
> 
> 
> 另外,我在flink最新master分支源码中有找到 
> GuavaFlinkConnectorRateLimiter,但没有找到调用它的例子,请问如何在flink作业中使用限流呢?



Flink CDC中如何在Snapshot阶段读取数据时进行限流?

2024-01-01 文章 casel.chen
业务表存量数据很大,如果不加限流直接使用flink cdc读取snapshot阶段数据的话会造成业务库压力,触发数据库告警,影响在线业务。
请问Flink CDC中如何在Snapshot阶段读取数据时进行限流?


我看到社区之前有人提议过,但issue一直是open状态
https://issues.apache.org/jira/browse/FLINK-18740


另外,我在flink最新master分支源码中有找到 
GuavaFlinkConnectorRateLimiter,但没有找到调用它的例子,请问如何在flink作业中使用限流呢?