Re: 使用FsStateBackend导致的oom

Thu, 28 Nov 2019 05:19:52 -0800 

Hi

Checkpooint 不会导致 State 被清理。Checkpoint 只是将 State 备份到一个远程存储，供后续恢复使用。如果有大量
CopyOnWriteStateTable$StateTableEntry 的话，首先需要确认，你作业真的会有大量的 state 存在吗？另外
Checkpoint 相关的配置是什么，OOM 前是否有 checkpoint 失败这类的

Best,
Congxian


李茂伟 <[email protected]> 于2019年11月28日周四 下午9:02写道：

> hi all ~
> &nbsp; &nbsp;
> 我在使用FsStateBackend,这种方式checkpoint时，导致oom，查看堆内存中有大量的CopyOnWriteStateTable$StateTableEntry对象没有被清理。请问在使用FsStateBackend这种方式checkpoint后，内存中的state会被清理吗？

回复