Re: 如何确定分配内存的大小

2022-01-29 文章 cc vmaster
如果初次分配的内存过小,在运行过程中可以动态去扩吗?即指定任务的内存上下限,比如初始分配了4G,但运行一段时间不足了,Flink是否可以帮我们自动多加一些内存,但最大不超过上限值。(目前个人了解到的需要扩内存得需要执行SavePoint,调整后再从SavePoint启动,但这样操作很容易导致任务计算出现错误了,或者很麻烦,如果Flink能在一次Checkpoint对齐后自动帮我们做这件事,无疑可以提供很大便利) > 2022年1月11日 17:19,Chang Li 写道: > > 目前这个更多还是一个经验值,和具体业务有关使用有关,建议任务运行后观察JM和TM的GC情况后再做调整

Re: 如何确定分配内存的大小

2022-01-11 文章 Chang Li
目前这个更多还是一个经验值,和具体业务有关使用有关,建议任务运行后观察JM和TM的GC情况后再做调整 许友昌 <18243083...@163.com> 于2022年1月10日周一 15:18写道: > 请问在启动flink 任务时,要如何确定该分配多少内存给 jobmanager,分配多少给 taskmanager,当我们指定 -ytm 1024 > 或 -ytm 2048 的依据是什么?

Re: 如何确定分配内存的大小

2022-01-10 文章 Caizhi Weng
Hi! 这个和你的作业特性强相关。目前 task manager 是按比例给各个算子分配 managed memory,所以只要内存不太小作业都能勉强跑,如果遇到内存问题再调大对应部分即可。 https://zhuanlan.zhihu.com/p/340345588 可以作为参考。 许友昌 <18243083...@163.com> 于2022年1月10日周一 15:18写道: > 请问在启动flink 任务时,要如何确定该分配多少内存给 jobmanager,分配多少给 taskmanager,当我们指定 -ytm 1024 > 或 -ytm 2048 的依据是什么?

如何确定分配内存的大小

2022-01-09 文章 许友昌
请问在启动flink 任务时,要如何确定该分配多少内存给 jobmanager,分配多少给 taskmanager,当我们指定 -ytm 1024 或 -ytm 2048 的依据是什么?