Re: 采集mysql全量的时候出现oom问题

2024-04-08 文章 Shawn Huang
从报错信息看,是由于JM的堆内存不够,可以尝试把JM内存调大,一种可能的原因是mysql表全量阶段分片较多,导致SourceEnumerator状态较大。

Best,
Shawn Huang


wyk  于2024年4月8日周一 17:46写道:

>
>
> 开发者们好:
> flink版本1.14.5
> flink-cdc版本 2.2.0
>
>  在使用flink-cdc-mysql采集全量的时候,全量阶段会做checkpoint,但是checkpoint的时候会出现oom问题,这个有什么办法吗?
>具体报错如附件文本以及下图所示:
>
>
>


回复:flink 已完成job等一段时间会消失

2024-04-08 文章 spoon_lz
有一个过期时间的配置
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#jobstore-expiration-time



| |
spoon_lz
|
|
spoon...@126.com
|


 回复的原邮件 
| 发件人 | ha.fen...@aisino.com |
| 发送日期 | 2024年04月9日 10:38 |
| 收件人 | user-zh |
| 主题 | flink 已完成job等一段时间会消失 |
在WEBUI里面,已完成的任务会在completed jobs里面能够看到,过了一会再进去看数据就没有了,是有什么配置自动删除吗?