Re: flink sql作业监控指标operator name和task name超长导致prometheus OOM问题

2023-03-24 文章 Weihua Hu
Hi, 现在不会过滤指标,可以尝试修改 PrometheusReporter 将不需要的 label 过滤掉 https://github.com/apache/flink/blob/master/flink-metrics/flink-metrics-prometheus/src/main/java/org/apache/flink/metrics/prometheus/AbstractPrometheusReporter.java#L104 需要注意这里的 key 的格式是 这种 Best, Weihua On Fri, Mar 24, 2023 at 2:47 PM

flink sql作业监控指标operator name和task name超长导致prometheus OOM问题

2023-03-24 文章 casel.chen
使用prometheus监控flink sql作业,发现没一会儿工夫就将prometheus内存(30GB)占满了,查了一下是因为作业指标名称过长导致的,像flink sql作业这种operator name和task name默认是根据sql内容拼装的,一旦sql出现的列名很多就会导致指标名称过长。 请问这种情况Flink社区有什么建议?prometheus抓取的时候能够过滤掉吗?只保留operator_id和task_id。 要是自己想将现有拼装名称修改成哈希值的话应该改哪个类呢?谢谢!