Re:CUMULATE 窗口状态过大导致CK超时

2024-01-04 文章 ouywl
HI Jiaotong: 我的建议如下: 1. 本地存储使用高吞吐的SSD 2. taskmanager.memory.managed.size 增加并且确保rocksdb memtable内存增加,减少rocksdb 刷磁盘的量 3. 如果有物化sink算子,关闭物化sink算子,减小state。 The following is the content of the forwarded email

Re:CUMULATE 窗口状态过大导致CK超时

2024-01-04 文章 Xuyang
Hi, 一般来说,业务上如果坚持要使用大state,可以尝试下尽可能的给多并发(让每个并发都持有一部分key的state,摊平大state)和内存(尽可能减少访问落盘的数据,减少IO)来提高性能。 对于你这个case来说,CUMULATE Window TVF在实现层面已经尽可能将小窗口的数据进行merge了[1]。可以dump下来看下具体是哪里的问题,是不是有进一步优化的空间。 [1]