Hi 默认Flink启用了rocksDB 的managed memory,这里涉及到这个功能的实现原理,简单来说,一个slot里面的所有rocksDB实例底层“托管”内存的LRU block cache均是一个,这样你可以根据taskmanager和subtask_index 作为tag来区分,你会发现在同一个TM里面的某个subtask对应的不同column_family 的block cache的数值均是完全相同的。所以不需要将这个数值进行求和统计。
祝好 唐云 ________________________________ From: SmileSmile <[email protected]> Sent: Thursday, July 2, 2020 18:05 To: Flink user-zh mailing list <[email protected]> Subject: rocksdb的block cache usage应该如何使用 通过 state.backend.rocksdb.metrics.block-cache-usage: true开启 rocksdb_block_cache_usage监控,上报到prometheus,对应的指标名称是 flink_taskmanager_job_task_operator_window_contents_rocksdb_block_cache_usage。 我们的作业一个TM的内存设置如下: taskmanager.memory.process.size: 23000m taskmanager.memory.managed.fraction: 0.4 ui上显示的Flink Managed MEM是8.48G。 通过grafana配置出来的图,如果group by的维度是host,得出来的每个TM在作业稳定后是45G,超过8.48G了。 sum(flink_taskmanager_job_task_operator_window_contents_rocksdb_block_cache_usage{reportName=~"$reportName"}) by (host) 如果维度是host,operator_name,每个operator_name维度是22G。 sum(flink_taskmanager_job_task_operator_window_contents_rocksdb_block_cache_usage{reportName=~"$reportName"}) by (host,operator_name) 请问这个指标应该如何使用? | | a511955993 | | 邮箱:[email protected] | 签名由 网易邮箱大师 定制
