Re: flink 已完成job等一段时间会消失

[gongzhongqiang]

你好：

如果想长期保留已完成的任务，推荐使用  History Server :
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#history-server

Best,

Zhongqiang Gong

ha.fen...@aisino.com  于2024年4月9日周二 10:39写道：

> 在WEBUI里面，已完成的任务会在completed jobs里面能够看到，过了一会再进去看数据就没有了，是有什么配置自动删除吗？
>

Re: Re: 采集mysql全量的时候出现oom问题

[gongzhongqiang]

可以尝试的解决办法：

   - 调大 JM 内存 （如  Shawn Huang 所说）
   - 调整快照期间批读的大小，以降低 state 大小从而减轻 checkpiont 过程中 JM 内存压力


Best,
Zhongqiang Gong

wyk  于2024年4月9日周二 16:56写道：

>
> 是的,分片比较大,有一万七千多个分片
>
> jm内存目前是2g,我调整到4g之后还是会有这么问题,我在想如果我一直调整jm内存,后面增量的时候内存会有所浪费,在flink官网上找到了flink堆内存的相关参数,但是对这个不太了解,不知道具体该怎么调试合适,麻烦帮忙看一下如下图这些参数调整那个合适呢?
>
> flink官网地址为:
> https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/memory/mem_setup_jobmanager/
>
>
>
>
>   ComponentConfiguration optionsDescription
> JVM Heap
> 
> jobmanager.memory.heap.size
> 
>  *JVM
> Heap* memory size for job manager.
> Off-heap Memory
> 
> jobmanager.memory.off-heap.size
> 
> *Off-heap* memory size for job manager. This option covers all off-heap
> memory usage including direct and native memory allocation.
> JVM metaspace
> 
> jobmanager.memory.jvm-metaspace.size
> 
>  Metaspace
> size of the Flink JVM process
> JVM Overhead jobmanager.memory.jvm-overhead.min
> 
> jobmanager.memory.jvm-overhead.max
> 
> jobmanager.memory.jvm-overhead.fraction
> 
>  Native
> memory reserved for other JVM overhead: e.g. thread stacks, code cache,
> garbage collection space etc, it is a capped fractionated component
> 
>  of
> the total process memory
> 
>
>
>
>
> 在 2024-04-09 11:28:57，"Shawn Huang"  写道：
>
>
> 从报错信息看，是由于JM的堆内存不够，可以尝试把JM内存调大，一种可能的原因是mysql表全量阶段分片较多，导致SourceEnumerator状态较大。
>
> Best,
> Shawn Huang
>
>
> wyk  于2024年4月8日周一 17:46写道：
>
>>
>>
>> 开发者们好:
>> flink版本1.14.5
>> flink-cdc版本 2.2.0
>>
>>  在使用flink-cdc-mysql采集全量的时候,全量阶段会做checkpoint,但是checkpoint的时候会出现oom问题,这个有什么办法吗?
>>具体报错如附件文本以及下图所示:
>>
>>
>>

Re:Re: 采集mysql全量的时候出现oom问题

[wyk]

是的,分片比较大,有一万七千多个分片
jm内存目前是2g,我调整到4g之后还是会有这么问题,我在想如果我一直调整jm内存,后面增量的时候内存会有所浪费,在flink官网上找到了flink堆内存的相关参数,但是对这个不太了解,不知道具体该怎么调试合适,麻烦帮忙看一下如下图这些参数调整那个合适呢?


flink官网地址为: 
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/memory/mem_setup_jobmanager/










|   Component   |   Configuration options   |   Description   |
| JVM Heap | jobmanager.memory.heap.size | JVM Heap memory size for job 
manager. |
| Off-heap Memory | jobmanager.memory.off-heap.size | Off-heap memory size for 
job manager. This option covers all off-heap memory usage including direct and 
native memory allocation. |
| JVM metaspace | jobmanager.memory.jvm-metaspace.size | Metaspace size of the 
Flink JVM process |
| JVM Overhead | jobmanager.memory.jvm-overhead.min
jobmanager.memory.jvm-overhead.max
jobmanager.memory.jvm-overhead.fraction | Native memory reserved for other JVM 
overhead: e.g. thread stacks, code cache, garbage collection space etc, it is a 
capped fractionated component of the total process memory

|









在 2024-04-09 11:28:57，"Shawn Huang"  写道：

从报错信息看，是由于JM的堆内存不够，可以尝试把JM内存调大，一种可能的原因是mysql表全量阶段分片较多，导致SourceEnumerator状态较大。


Best,
Shawn Huang




wyk  于2024年4月8日周一 17:46写道：





开发者们好:
flink版本1.14.5 
flink-cdc版本 2.2.0
   
在使用flink-cdc-mysql采集全量的时候,全量阶段会做checkpoint,但是checkpoint的时候会出现oom问题,这个有什么办法吗?
   具体报错如附件文本以及下图所示: