Re: Flink1.14 需求超大内存

2023-06-20 文章 郭欣瑞
我排查了一下,因为任务其实是跑在本地模式上,而我一直没有配置本地模式的slot数量导致slot不足,而这个1024G其实是一个默认值所以出现了需求1T内存这种奇怪的报错。 以往没有出现这种问题是因为以前本地模式会自动分配足够的slot,但flink doris connecter由于未知的原因没有被计入slot需求中,这就导致缺少一个slot无法达到需求。 > 2023年6月19日 16:18,郭欣瑞 写道: > > 我在ide里测试一个任务的时候,任务一直处于created状态,过了很久之后报了以下的错 > >

Re:Re: Flink1.14 需求超大内存

2023-06-20 文章 王国成
退订 在 2023-06-20 11:16:18,"Yanfei Lei" 写道: >Hi, > >从 ResourceProfile{taskHeapMemory=1024.000gb (1099511627776 bytes), >taskOffHeapMemory=1024.000gb (1099511627776 bytes), >managedMemory=128.000mb (134217728 bytes), networkMemory=64.000mb >(67108864 bytes)}, numberOfRequiredSlots=1}]

Re: Flink1.14 需求超大内存

2023-06-19 文章 Yanfei Lei
Hi, 从 ResourceProfile{taskHeapMemory=1024.000gb (1099511627776 bytes), taskOffHeapMemory=1024.000gb (1099511627776 bytes), managedMemory=128.000mb (134217728 bytes), networkMemory=64.000mb (67108864 bytes)}, numberOfRequiredSlots=1}] 来看,sink节点想申请 1T的 heap memory 和 1T的 off heap

Re: Flink1.14 需求超大内存

2023-06-19 文章 Shammon FY
Hi, 这个doris的sink是你自己实现的还是flink或者doris官方提供的?从错误来看,像是sink节点申请了超大的内存资源,你可以确认一下是否有问题,或者是否有配置项可以配置 Best, Shammon FY On Mon, Jun 19, 2023 at 4:19 PM 郭欣瑞 wrote: > 我在ide里测试一个任务的时候,任务一直处于created状态,过了很久之后报了以下的错 > > DeclarativeSlotPoolBridge.java:351 - Could not acquire the minimum > required

Flink1.14 需求超大内存

2023-06-19 文章 郭欣瑞
我在ide里测试一个任务的时候,任务一直处于created状态,过了很久之后报了以下的错 DeclarativeSlotPoolBridge.java:351 - Could not acquire the minimum required resources, failing slot requests. Acquired: [ResourceRequirement{resourceProfile=ResourceProfile{taskHeapMemory=1024.000gb (1099511627776 bytes),