(无主题)

2023-06-12 文章 Paul
在flink处理函数中定义一个状态变量,比如private ValueState vs;这个状态变量是否需要用transient来修饰,为什么呢?以及什么情况下flink代码中需要用transient来修饰变量,什么情况下不用transient来修饰?请大家指教

Re: flink sql作业指标名称过长把prometheus内存打爆问题

2023-06-12 文章 Feng Jin
hi casel 1. 可以考虑使用 Flink1.15, 使用精简的 operator name https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/config/#table-exec-simplify-operator-name-enabled 2. Flink 也提供了 restful 接口直接获取瞬时的 metric,如果不需要历史的 metric

flink sql作业指标名称过长把prometheus内存打爆问题

2023-06-12 文章 casel.chen
线上跑了200多个flink sql作业,接了prometheus指标(prometheus定期来获取作业指标)监控后没跑一会儿就将prometheus内存打爆(开了64GB内存),查了一下是因为指标名称过长导致的。 flink sql作业的指标名称一般是作业名称+算子名称组成的,而算子名称是由sql内容拼出来的,在select字段比较多或sql较复杂的情况下容易生成过长的名称, 请问这个问题有什么好的办法解决吗?

Re:Re: 求flink作业各个算子的延迟指标

2023-06-12 文章 casel.chen
谢谢解答,如果是flink sql作业要如何获取到作业中每个算子的latency指标呢? 而且通过prometheus获取作业指标的话,因为flink sql作业中每个算子的名称是按sql内容拼出来的,会出现名称很长, 这样的算子指标直接打到prometheus的话会直接将prometheus内存打爆,这个问题有什么好的办法解决吗? 在 2023-06-12 18:01:11,"Hangxiang Yu" 写道: >[.[.]]..latency >这个应该可以满足需求?也可以设置不同的粒度。

Re: Fail to run flink 1.17 job with flink-operator 1.5.0 version

2023-06-12 文章 Gyula Fóra
Hi! I think you forgot to upgrade the operator CRD (which contains the updates enum values). Please see: https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-main/docs/operations/upgrade/#1-upgrading-the-crd Cheers Gyula On Mon, 12 Jun 2023 at 13:38, Liting Liu (litiliu) wrote:

Fail to run flink 1.17 job with flink-operator 1.5.0 version

2023-06-12 文章 Liting Liu (litiliu)
Hi, I was trying to submit a flink 1.17 job with the flink-kubernetes-operator version v1.5.0. But encountered the below exception: The FlinkDeployment "test-scale-z6t4cd" is invalid: spec.flinkVersion: Unsupported value: "v1_17": supported values: "v1_13", "v1_14", "v1_15", "v1_16" I think

Re: 求flink作业各个算子的延迟指标

2023-06-12 文章 Hangxiang Yu
[.[.]]..latency 这个应该可以满足需求?也可以设置不同的粒度。 https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/ops/metrics/#io On Mon, Jun 12, 2023 at 5:05 PM casel.chen wrote: > 想统计数据经过flink作业各个算子的延迟指标,目前社区开源版能实现吗? -- Best, Hangxiang.

求flink作业各个算子的延迟指标

2023-06-12 文章 casel.chen
想统计数据经过flink作业各个算子的延迟指标,目前社区开源版能实现吗?

Re:回复:flink作业延迟时效指标

2023-06-12 文章 casel.chen
我的是flink sql作业,要如何实现你说的方案呢?我看到阿里云实时计算平台VVR是支持展示作业时延指标的,想知道它是如何实现的 在 2023-06-08 16:46:34,"17610775726" <17610775...@163.com> 写道: >Hi > > >你提到的所有的监控都是可以通过 metric 来监控报警的,至于你提到的 LatencyMarker 因为它不参与算子内部的计算逻辑的时间,所以这个 >metric 并不是准确的,但是如果任务有反压的情况下 LatencyMarker