Re: Flink CDC中如何在Snapshot阶段读取数据时进行限流?

2024-01-01 文章 Jiabao Sun
Hi, GuavaFlinkConnectorRateLimiter 目前只在 flink-connector-gcp-pubsub[1] 有使用。 Flink CDC 还未支持限流[2],目前可以尝试降低 snapshot 并发数来缓解数据库压力。 Best, Jiabao [1]

Flink CDC中如何在Snapshot阶段读取数据时进行限流?

2024-01-01 文章 casel.chen
业务表存量数据很大,如果不加限流直接使用flink cdc读取snapshot阶段数据的话会造成业务库压力,触发数据库告警,影响在线业务。 请问Flink CDC中如何在Snapshot阶段读取数据时进行限流? 我看到社区之前有人提议过,但issue一直是open状态 https://issues.apache.org/jira/browse/FLINK-18740 另外,我在flink最新master分支源码中有找到 GuavaFlinkConnectorRateLimiter,但没有找到调用它的例子,请问如何在flink作业中使用限流呢?