Re: 回复: flink-1.11.2 的 内存溢出问题

2020-11-16 文章 Xintong Song
> > streamTableEnv.getConfig().getConfiguration().setString(key, value); > > 这种属于任务运行时配置! > > > > > > > > --原始邮件-- > > 发件人: > > "user-zh" > >

Re: 回复: flink-1.11.2 的 内存溢出问题

2020-11-16 文章 Xintong Song
> --原始邮件-- > 发件人: > "user-zh" > < > shizhengc...@outlook.com; > 发送时间:2020年11月16日(星期一) 晚上7:14 > 收件人:"user-zh@flink.apache.org" > 主题:回复: flink-

回复: flink-1.11.2 的 内存溢出问题

2020-11-16 文章 史 正超
好的,谢谢回复,那请问下 taskmanager.memory.task.off-heap.size 这个参数可以通过 下面代码动态设置吗? streamTableEnv.getConfig().getConfiguration().setString(key, value); 发件人: Xintong Song 发送时间: 2020年11月16日 10:59 收件人: user-zh 主题: Re: flink-1.11.2 的 内存溢出问题 那应该不存在内存泄露的问题。应该就是 job 需要的 direct

回复: flink-1.11.2 的 内存溢出问题

2020-11-16 文章 史 正超
flink-on-yarn . per-job模式,重启是kafka的group.id没变,应该是接着offset消费的,但是任务启动不起来。不知道是不是一段时间后,积压导致的。 发件人: Xintong Song 发送时间: 2020年11月16日 10:11 收件人: user-zh 主题: Re: flink-1.11.2 的 内存溢出问题 是什么部署模式呢?standalone? 之前任务运行一段时间报错之后,重新运行的时候是所有 TM 都重启了吗?还是有复用之前的 TM? Thank you

Re: flink-1.11.2 的 内存溢出问题

2020-11-16 文章 Xintong Song
是什么部署模式呢?standalone? 之前任务运行一段时间报错之后,重新运行的时候是所有 TM 都重启了吗?还是有复用之前的 TM? Thank you~ Xintong Song On Mon, Nov 16, 2020 at 5:53 PM 史 正超 wrote: > 使用的是rocksdb, 并行度是5,1个tm, 5个slot,tm 内存给 > 10G,启动任务报下面的错误。之前有启动成功过,运行一段时间后,也是报内存溢出,然后接成原来的offset启动任务,直接启动不起来了。 > > 2020-11-16 17:44:52 >

flink-1.11.2 的 内存溢出问题

2020-11-16 文章 史 正超
使用的是rocksdb, 并行度是5,1个tm, 5个slot,tm 内存给 10G,启动任务报下面的错误。之前有启动成功过,运行一段时间后,也是报内存溢出,然后接成原来的offset启动任务,直接启动不起来了。 2020-11-16 17:44:52 java.lang.OutOfMemoryError: Direct buffer memory. The direct out-of-memory error has occurred. This can mean two things: either job(s) require(s) a larger size of JVM