Re: flink sql作业监控指标operator name和task name超长导致prometheus OOM问题

Fri, 24 Mar 2023 01:22:23 -0700 

Hi,

现在不会过滤指标，可以尝试修改 PrometheusReporter 将不需要的 label 过滤掉

https://github.com/apache/flink/blob/master/flink-metrics/flink-metrics-prometheus/src/main/java/org/apache/flink/metrics/prometheus/AbstractPrometheusReporter.java#L104
需要注意这里的 key 的格式是 <operator_name> <task_name> 这种

Best,
Weihua


On Fri, Mar 24, 2023 at 2:47 PM casel.chen <casel_c...@126.com> wrote:

> 使用prometheus监控flink
> sql作业，发现没一会儿工夫就将prometheus内存(30GB)占满了，查了一下是因为作业指标名称过长导致的，像flink
> sql作业这种operator name和task name默认是根据sql内容拼装的，一旦sql出现的列名很多就会导致指标名称过长。
> 请问这种情况Flink社区有什么建议？prometheus抓取的时候能够过滤掉吗？只保留operator_id和task_id。
> 要是自己想将现有拼装名称修改成哈希值的话应该改哪个类呢？谢谢！

回复