Re: Flink状态过期时是否可以将其输出到日志中

Hi, Flink暂时不支持过期清理时的回调函数。如果用得是cleanupIncrementally策略（https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/#cleanup-of-expired-state），可以自行在`TtlIncrementalCleanup`类中添加相应的log。 > 2022年6月27日 下午2:09，haishui 写道： > > Hi, >

Re: flink中文邮件列表不显示其他用户提问的flink问题。

hi, 列表是指您的收件箱列表吗？您可以通过 https://lists.apache.org/list.html?user-zh@flink.apache.org 查看其他用户的问题和答案。 Best, Yanfei 张锴 于2022年7月14日周四 09:17写道： > 我重新订阅了flink中文邮件，但是列表里没有显示其他用户提问或者解答有关flink相关的问题和答案，这是什么原因？ >

Re: 关于flink的state

Hi, 1) state无法在不同的算子共享，如yue ma的建议，或许可以把需要共享的部分存储在外部系统，然后在两个map里访问同一个外部系统以实现共享 2) 除开operatorState，或许自定义一个总是返回相同值的keySelector，也可以把所有的key都聚合到一起。 yue ma 于2022年8月30日周二 14:20写道： > hi > 1） flink 内部的 state 算子之间是不可以共享的，所以你可能需要借助外部的存储（比如 redis）来做类似的事情 > 2） 你可以看看 operatorState 的使用方式 > >

Re: flink 的数据传输,是上游算子推给下游, 还是下游算子拉取上游, 设计的考虑是啥?

Hi, Flink社区有一篇关于Credit-based Flow Control的blog post ，里面介绍了反压机制的原理和优劣势，希望有帮助。 Shammon FY 于2022年9月21日周三 11:43写道： > Hi > 我个人觉得简单的说flink数据传输是pull模型可能会有歧义，一般来讲大家理解的两个模型的执行流程如下 > 1. push模型 >

Re: native k8s部署模式下使用HA架构的HDFS集群无法正常连接

Hi Tino, 从org.apache.flink.core.fs.FileSystem.java 来看，Flink直接将fs.default-scheme当作URI来解析，并没有解析相关xml配置的操作，看起来Flink目前是不支持HA架构的HDFS集群的。 Best, Yanfei Xuyang 于2022年9月21日周三

Re: Re: OutOfMemoryError: Direct buffer memory

er.memory.task.off-heap.size 应该能解决部分问题， > > 我这里还有些疑问，部署的session集群，每次集群只跑这一个任务，执行结束才开始下一个任务，如果是前面的任务read/write申请的堆外内存，执行结束的时候，会立即释放吗？ > 执行几次任务之后，才出现这种异常，前面任务都是成功的，后面任务就异常了，感觉有内存泄漏的现象。Flink > taskmanager的off-heap内存管理有更多的介绍吗？（官网的看过了） > Thanks > > 在 2022-10-10 12:34:55，"yan

Re: Re: table store 和connector-kafka包冲突吗？

Hi, 从table store的pom中看，table store的dist包shade了一份connector-kafka。 https://repo1.maven.org/maven2/org/apache/flink/flink-table-store-dist/0.2.0/flink-table-store-dist-0.2.0.pom 把flink-connector-kafka-1.15.1.jar 去掉再试试？ RS 于2022年10月8日周六 17:19写道： > Hi, > 报错如下： > > > [ERROR] Could not execute SQL

Re: OutOfMemoryError: Direct buffer memory

从报错看是Direct memory不够导致的，可以将taskmanager.memory.task.off-heap.size调大试试看。 Best, Yanfei allanqinjy 于2022年10月8日周六 21:19写道： > > 看堆栈信息是内存不够，调大一些看看。我之前在读取hdfs上的一个获取地理位置的离线库，也是内存溢出，通过调整内存大小解决的。用的streamingapi开发的作业，1.12.5版本。 > > > | | > allanqinjy > | > | > allanqi...@163.com > | > 签名由网易邮箱大师定制 > > > On

Re: Re: flink1.15.1 stop 任务失败

Hi yidan && hjw, 我用FlinkKafkaConsumer在本地也复现了这一问题，但用KafakaSource是可以正常做stop-with-savepoint的。FlinkKafkaConsumer在Flink 1.15后被deprecated了[1]，推荐用新的KafkaSource再试试。 [1] https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/kafka/#kafka-sourcefunction Best, Yanfei hjw

Re: get state from window

Hi, there are two methods on the Context object that a process() invocation receives that allows access to the two types of state: - globalState(), which allows access to keyed state that is not scoped to a window - windowState(), which allows access to keyed state that is also scoped

[ANNOUNCE] FRocksDB 6.20.3-ververica-2.0 released

It is very happy to announce the release of FRocksDB 6.20.3-ververica-2.0. Compiled files for Linux x86, Linux arm, Linux ppc64le, MacOS x86, MacOS arm, and Windows are included in FRocksDB 6.20.3-ververica-2.0 jar, and the FRocksDB in Flink 1.17 would be updated to 6.20.3-ververica-2.0. Release

Re: 设置slot是vcore的几倍会有什么影响

Hi junjie, 一个slot可以看作JVM中的一个线程[1]，因此可以设置taskmanager.numberOfTaskSlots超过cpu core的数目。 > 这样设置slot是vcore的几倍会有什么影响吗？ 设置slot是vcore的几倍可能导致资源bound（如cpu、内存、磁盘、网络带宽等），我曾经遇到过slot数目过多(每个slot上的subtask的状态较大)引起的磁盘不足问题。 [1]

Re: Re: flink on yarn 异常停电问题咨询

Hi 可以尝试去flink配置的checkpoint dir下面去找一找历史chk-x文件夹，如果能找到历史的chk-x，可以尝试手工指定 chk重启[1]。 > flink任务是10个checkpoint，每个checkpoint间隔5秒，如果突然停电，为什么所有的checkpoint都损坏了。 请问作业开启增量checkpoint了吗？在开启了增量的情况下，如果是比较早的一个checkpoint的文件损坏了，会影响后续基于它进行增量的checkpoint。 >

Re: Flink rocksDB疑似内存泄露，导致被Linux kernel killed

Hi, 请问作业有配置ttl吗？ 另外可以参考下是否与下面两个问题类似： 1. pin L0 index in memory : https://issues.apache.org/jira/browse/FLINK-31089 2. max open files：https://issues.apache.org/jira/browse/FLINK-31225 Biao Geng 于2023年4月23日周日 15:35写道： > > Hi, > 可以配置下jemalloc来进行堆外内存泄漏的定位。 > 具体操作可以参考下这两篇文章。 >

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Best Regards, Yanfei ramkrishna vasudevan 于2023年3月27日周一 21:46写道： > > Congratulations !!! > > On Mon, Mar 27, 2023 at 2:54 PM Yu Li wrote: >> >> Dear Flinkers, >> >> >> As you may have noticed, we are pleased to announce that Flink Table Store >> has joined the Apache

Re: Flink 误报checkpoint失败

hi, 扩缩容会重启作业，在作业重启期间，job manager 先启动了，还有部分task manager没启动就有可能报“Not all required tasks are currently running..”的错误，作业的所有task完全启动后这个错误就会消失。 Best, Yanfei Chen Yang 于2023年5月4日周四 09:44写道： > > 您好， > > 我的 Flink job是以 reactive 模式运行，然后用了 Kubernetes HPA 来自动扩容/缩容 > TaskManager。每当TaskManager >

Re: Flink 窗口触发条件

hi, 感觉和[1]的问题比较像，事件时间的window在onElement和onEventTime时会触发，这两个方法又会根据watermark判断，可以看看o.a.f.table.runtime.operators.window.triggers包和o.a.f.table.runtime.operators.wmassigners包。 [1] https://juejin.cn/post/6850418110010179597 小昌同学 于2023年8月10日周四 10:52写道： > >

Re: Flink1.14 需求超大内存

Hi, 从 ResourceProfile{taskHeapMemory=1024.000gb (1099511627776 bytes), taskOffHeapMemory=1024.000gb (1099511627776 bytes), managedMemory=128.000mb (134217728 bytes), networkMemory=64.000mb (67108864 bytes)}, numberOfRequiredSlots=1}] 来看，sink节点想申请 1T的 heap memory 和 1T的 off heap

Re: java.io.IOException: Could not load the native RocksDB library

请问是什么开发环境呢？ windows吗？ 可以分享一下更详细的报错吗？比如.dll 找不到 ha.fen...@aisino.com 于2024年5月7日周二 09:34写道： > > Configuration config = new Configuration(); > config.set(StateBackendOptions.STATE_BACKEND, "rocksdb"); > config.set(CheckpointingOptions.CHECKPOINT_STORAGE, "filesystem"); >

Re: Re: java.io.IOException: Could not load the native RocksDB library

ming-java-1.19.0.jar:1.19.0] > at > org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.keyedStatedBackend(StreamTaskStateInitializerImpl.java:399) > ~[flink-streaming-java-1.19.0.jar:1.19.0] > at > org.apache.flink.streaming.api.operators.StreamTaskStat

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congrats, thanks for the great work! Sergey Nuyanzin 于2024年3月18日周一 19:30写道： > > Congratulations, thanks release managers and everyone involved for the great > work! > > On Mon, Mar 18, 2024 at 12:15 PM Benchao Li wrote: >> >> Congratulations! And thanks to all release managers and everyone >>

Re: Flink 1.18.1 ，重启状态恢复

看起来和 FLINK-34063 / FLINK-33863 是同样的问题，您可以升级到1.18.2 试试看。 [1] https://issues.apache.org/jira/browse/FLINK-33863 [2] https://issues.apache.org/jira/browse/FLINK-34063 陈叶超 于2024年5月16日周四 16:38写道： > > 升级到 flink 1.18.1 ，任务重启状态恢复的话，遇到如下报错： > 2024-04-09 13:03:48 > java.lang.Exception: Exception while