Re: Cannot find metata file metadats in directory

Hi, How did you point out the checkpoint path you restored from ? Seems that you are trying to restore from a not completed or failed checkpoint. On Thu, Sep 28, 2023 at 6:09 PM rui chen wrote: > When we use 1.13.2,we have the following error: > FileNotFoundException: Cannot find metata file

Re: 1.17.1 - Interval join的时候发生NPE

Hi, 请问下是 SQL 作业还是 DataStream 作业，可以提供一些可复现的关键 SQL 或代码吗 On Sat, Sep 23, 2023 at 3:59 PM Phoes Huang wrote: > Hi, > > 单机本地开发执行，遇到该问题，请问有人遇过并解决吗？ > > 2023-09-23 13:52:03.989 INFO > [flink-akka.actor.default-dispatcher-9][Execution.java:1445] - Interval > Join (19/20) >

Re: flink rocksdb在托管&非托管模式下rocksdb内存计算

Hi, https://flink-learning.org.cn/article/detail/c1db8bc157c72069979e411cd99714fd 这篇文章中有一些关于 Flink RocksDB write buffer 和 block cache 内存计算的理论和实例讲解，可以参考下 On Fri, Sep 1, 2023 at 2:56 PM crazy <2463829...@qq.com.invalid> wrote: > 大佬们好， >flink1.13.5 >

Re: flink sql作业状态跨存储系统迁移问题

Hi, 我理解可以有两种方式： 1. 设定从某个存储集群上恢复并向另一个存储集群上快照，即设置[1]为 HDFS地址，[2] 为后面的对象存储地址 2. 还是在HDFS集群上启停作业，设置 savepoint 目录[3]到对象存储 关于 state processor api，目前 sql 作业确实操作起来比较困难，只能从日志里获取 uid 等信息，以及理解 sql 实际产生的状态才能使用； [1]

Re: 求flink作业各个算子的延迟指标

[.[.]]..latency 这个应该可以满足需求？也可以设置不同的粒度。 https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/ops/metrics/#io On Mon, Jun 12, 2023 at 5:05 PM casel.chen wrote: > 想统计数据经过flink作业各个算子的延迟指标，目前社区开源版能实现吗？ -- Best, Hangxiang.

Re: flink on yarn rocksdb内存超用

Hi, 目前对RocksDB使用的内存是没有严格限制住的，可以参考这个 ticket： https://issues.apache.org/jira/browse/FLINK-15532 如果要定位到内存使用情况，可以先看一些粗的Metrics： https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#rocksdb-native-metrics 如果要再细致定位到单 instance 内部 RocksDB 的详细内存使用情况，可能需要用 malloc

Re: Re: Flink广播流状态清理策略不生效

t; 或者使用广播流的时候有没有什么能够手动清理状态的方法？ > > > > > > > > > > > > > > > > > > 在 2023-05-15 11:28:54，"Hangxiang Yu" 写道： > >Hi, 目前像 Broadcast state 这种 Operator State 应该是不支持 TTL 设置的，可以参考这里 > >< > https://nightlies.apache.org/fli

Re: Flink广播流状态清理策略不生效

Hi, 目前像 Broadcast state 这种 Operator State 应该是不支持 TTL 设置的，可以参考这里 对 State TTL 的描述； On Mon, May 15, 2023 at 11:05 AM lxk wrote: > flink版本:1.14 >

Re: Failed to initialize delegation token receiver s3

Hi，这个应该是FLINK-31839已经确定的ISSUE，在1.17.1中已经修复了，可以参考： https://issues.apache.org/jira/browse/FLINK-31839 On Sat, May 6, 2023 at 5:00 PM maker_d...@foxmail.com < maker_d...@foxmail.com> wrote: > flink version：flink-1.17.0 > k8s application模式模式 > > 已经在flink-conf中禁用delegation token： >

Re: CheckpointedFunction 与 KeyedState

Hi, 在 initializeState 里初始化 State 是 OK 的，但是尽量不要在 initializeState 和 snapshotState 里访问 KeyedState，最好是在实际的 Function 比如这里的 FlatMap 里； 原因是 KeyedState 的访问是和 Current Key 绑定的，实际的 Function 在 Process 之前会隐式的 set Current key ，因此是会保证每次 KeyedState 的操作是对确定的 KV 进行的； 而 initializeState 和 snapshotState 里是没有框架隐性 set

Re: Dear All，关于State processor API，有一些疑惑

1. 可以的，state processor api主要就是做这个事儿的 2. 我目前看起来SQL作业似乎没有很好的方式获取uid，一种是打开debug日志，从 StreamGraphHasherV2#generateDeterministicHash的debug日志里可以获取到 On Wed, Jan 18, 2023 at 2:39 PM ying lin wrote: > Flink版本：1.13.6 > 最近在做一些关于Rocksdb State通过state process api 读写的poc，有一些疑惑想请教一下： > > 1. 如果现在已有一个Kafka

Re: flink状态恢复

Hi, Flink目前仅支持DataStream作业对POJO类型加减字段，及符合AVRO规则的状态迁移恢复[1]； 如果是其他类型，或者是sql作业，目前社区版本还尚不支持从旧状态恢复，只能无状态启动； [1] https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/datastream/fault-tolerance/serialization/schema_evolution/#supported-data-types-for-schema-evolution On Thu, Jan 12, 2023

Re: Flink sql从ck恢复，统计数据波动问题

是什么值下跌呢？哪个metric吗？ On Mon, Oct 10, 2022 at 1:34 PM 天下五帝东 wrote: > Hi: > 各位大佬们，flink任务从状态恢复时，统计值有一个明显的下跌，等ck打完后，统计值才会上升，这种情况有什么好的解决方案吗？ -- Best, Hangxiang.

Re: 基于savepoint重启作业无法保证端到端一致性

flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的； 你用的kafka是哪个版本？ On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote: > 各位好！ > 目前有一flink作业，source与sink均为kafka。 > 在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。 > 现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。 > >

Re: 关于Flink state初始化的问题

open确实是初始化的时候就会调用的； 第一次调用是null是说statAccumulator是null还是statAccumulator.value()是null，后者的话是正常可能会出现的； 这里的写法看起来有点问题，一般用value方法取出来可以先判断下，然后对value state的更新用update方法； On Fri, Aug 26, 2022 at 10:25 AM 曲洋 wrote: > 各位好, > > >

Re: flink自动重启出错

是DS作业吗？可以share下使用state的部分吗？ On Sat, Aug 20, 2022 at 3:35 PM Jason_H wrote: > 您好，改过任务，但是 是以新的任务启动的，改动很大，并不依赖之前老的任务 > > > | | > Jason_H > | > | > hyb_he...@163.com > | > 回复的原邮件 > | 发件人 | Michael Ran | > | 发送日期 | 2022年8月20日 15:31 | > | 收件人 | tsreape...@gmail.com | > | 主题 | 回复：flink自动重启出错

Re: Flink作业修改时State的兼容性

hello，目前开源版本仅支持DataStream作业有限的更改，如DS作业加减字段等[1]； 阿里云的Flink版本支持了SQL作业修改后的兼容性判断、大部分SQL算子修改的兼容性、比社区更快的状态迁移速度（几乎不阻塞作业启动）； Best, Hangxiang. [1]

Re: ​请问是否有计划合并blink gemini到flink的计划

你好，是从阿里云产品的Blink迁移到Flink吗？这个迁移过程可以参考[1]，Gemini在“实时计算Flink版”中的介绍和使用方式可以参考[2][3]。 关于合并到社区，短期内没有相关计划。 [1] https://help.aliyun.com/document_detail/421043.html [2] https://help.aliyun.com/document_detail/414255.html [3] https://help.aliyun.com/document_detail/414256.html Best, Hangxiang. On Wed, Jul

Re: Re: Some question with Flink state

处理。但是但我使用多个并行度的时候，我发现好像相同的key并没有分配到同一个并行度处理。具体现象在于，我的程序是对同一个用户点击的商品进行累加，在数据里这个商品已经是第二个了，但是程序里这个商品的状态是空，所以导致最终累加的结果是1，而正确结果应该是2。所以我猜测是不是算子对于value-state都是独有的。 > > 但是当我使用mapstate的时候，这个问题好像就没有再出现了。所以我想了解这里面的原因是啥？或者有什么方法能确保同一个key的数据都会被同一个task处理。 > > > > lxk7...@163.com > > From: H

Re: Some question with Flink state

Hello, All states will not be shared in different parallelisms. BTW, English questions could be sent to u...@flink.apache.org. Best, Hangxiang. On Mon, May 23, 2022 at 4:03 PM lxk7...@163.com wrote: > > Hi everyone >I was used Flink keyed-state in my Project.But I found some questions >

Re: web ui中能查看到job失败的原因吗？

JobManager的log里应该能看到root cause？ On Thu, Apr 21, 2022 at 5:54 PM weishishuo...@163.com wrote: > > 我提交一个postgresql cdc 同步数据到 mysql jdbc sink的job，过了一会儿就失败了，点击job的链接，web > ui界面的状态是FAILED，但是异常信息不明确 > ``` > 2022-04-21 17:30:50 > org.apache.flink.runtime.JobException: Recovery is suppressed by >