业务库刷数据瞬间cdc流量上涨打爆作业的问题有什么好的解决办法吗？

[casel.chen]

使用flink cdc消费mysql binlog遇到业务库刷数据瞬间cdc流量上涨打爆作业的问题有什么好的解决办法吗？

实时数据同步对比监控有什么好的工具和方案吗？

[casel.chen]

业务上利用flink作业做实时数据同步，请问实时数据同步对比监控有什么好的工具和方案吗？
实时同步链路：mysql -> kafka canal -> flink -> doris


欢迎大家提供思路

水位线对齐与空闲问题

[haishui]

hi,


我在1.15.x和1.16.1对水位线策略进行测试发现水位线对齐和idleness同时使用会造成变成空闲的source无法再消费kafka数据。这是一个bug吗？
我的水位线策略如下：
   WatermarkStrategy
.forBoundedOutOfOrderness(Duration.ofMillis(0))
.withTimestampAssigner((element, recordTimestamp) -> 
Long.parseLong(element))
.withWatermarkAlignment("default", Duration.ofMillis(10), 
Duration.ofSeconds(2))
.withIdleness(Duration.ofSeconds(30));


在经过30s以后，水位线对齐的日志如下：
10:31:25,717 INFO  
org.apache.flink.runtime.source.coordinator.SourceCoordinator [] - Distributing 
maxAllowedWatermark=11 to subTaskIds=[0]
10:31:25,717 INFO  
org.apache.flink.runtime.source.coordinator.SourceCoordinator [] - Distributing 
maxAllowedWatermark=11 to subTaskIds=[0]
10:31:27,710 INFO  
org.apache.flink.runtime.source.coordinator.SourceCoordinator [] - Distributing 
maxAllowedWatermark=-9223372036854775799 to subTaskIds=[0]
10:31:27,710 INFO  
org.apache.flink.runtime.source.coordinator.SourceCoordinator [] - Distributing 
maxAllowedWatermark=-9223372036854775799 to subTaskIds=[0]


此时再向topic里面写数据已经不再消费

Re: Re: 无法设置任务名

[Shammon FY]

Hi

控制台具体是指哪块？你可以检查下其他日志是否显示正常

Best,
Shammon FY


On Wed, Mar 15, 2023 at 11:29 PM wei_yuze  wrote:

> 我又试了一次，web UI有了，可能是我看漏了。我设置的任务名是XXX_Statistics。
>
>
> 但是控制台里的输出没有任务名。是log4j2级别不对吗？我在log4j2.properties里设置的输出等级为INFO
>
>
> rootLogger.level = INFO
>
>
>
>
>
>
>
> 原始邮件
>
>
>
> 发件人："Weihua Hu"< huweihua@gmail.com ;
>
> 发件时间：2023/3/15 21:03
>
> 收件人："user-zh"< user-zh@flink.apache.org ;
>
> 主题：Re: 无法设置任务名
>
>
> Hi,
>
> UI 显示的任务名是什么呢？
>
> Best,
> Weihua
>
>
> On Wed, Mar 15, 2023 at 8:02 PM wei_yuze  wrote:
>
>  您好！
> 
> 
> 
> 
>  我在使用flink1.16.0。在通过这个方式设置了任务名：
>  streamExecutionEnvironment.execute("jobName")
>  但是web UI 中并不显示出设置的用户名。请问哪位大佬能答疑一下，感谢！