[ANNOUNCE] Apache Flink 1.18.0 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.18.0, which is the first release for the Apache Flink 1.18 series. Apache Flink® is an open-source unified stream and batch data processing framework for distributed, high-performing, always-available, and accurate

Re: Flink1.17.1 yarn token 过期问题

Hello, 这个问题解决了吗？我遇到相同的问题，还没定为到原因。 Best, Paul Lam > 2023年7月20日 12:04，王刚 写道： > > 异常栈信息 > ``` > > 2023-07-20 11:43:01,627 ERROR > org.apache.flink.runtime.taskexecutor.TaskManagerRunner [] - Terminating > TaskManagerRunner with exit code 1. > org.apache.flink.util.FlinkException: Failed

FLINK-24035, how can this issue be repeated?

We encountered similar problems in production, and we want to integrate FLINK-24035 to solve them, but we don't know how to repeat the problem.

Re:如何在Flink Connector Source退出时清理资源

Hi, 看一下你的DynamicTableSource实现的类，如果你用的是InputFormat的旧source（用的是类似InputFormatProvider.of），可以使用InputFormat里的close方法； 如果用的是flip-27的source（用的是类似SourceProvider.of），SplitReader里也有一个close方法 -- Best！ Xuyang 在 2023-10-24 11:54:36，"jinzhuguang" 写道： >版本：Flink 1.16.0 >

如何在Flink Connector Source退出时清理资源

版本：Flink 1.16.0 需求：在某个source结束退出时清理相关的资源。 问题：目前没有找到Source退出时相关的hook函数，不知道在哪里编写清理资源的代码。 恳请大佬们指教。

Re: Problems with the state.backend.fs.memory-threshold parameter

Hi，Zakelly Thank you for your answer. Best， rui Zakelly Lan 于2023年10月13日周五 19:12写道： > Hi rui, > > The 'state.backend.fs.memory-threshold' configures the threshold below > which state is stored as part of the metadata, rather than in separate > files. So as a result the JM will use its memory

回复： flink sql不支持show create catalog 吗？

Hi Feng 我之前建过一个jira（https://issues.apache.org/jira/browse/FLINK-24939），引入CatalogStore后，实现这个特性的时机应该已经成熟了，我们这边业务场景里用到了很多catalog，管理起来很麻烦，有这个特性会好很多。 | | 回复的原邮件 | 发件人 | Feng Jin | | 发送日期 | 2023年10月20日 13:18 | | 收件人 | | | 主题 | Re: flink sql不支持show create catalog 吗？ | hi casel 从 1.18

jobmanager 开启ha模式重复启用的问题

flink onYarn集群，运行模式为yarn application 开启zookeeper high availability后，JobManager由于异常退出后，会重新启动一个jm在其他节点，这个没有问题，但是之前的那个tm的信息在zk中并不会删除，导致出现了两个job在，并且后续启动的那个job长期属于悬挂状态，不会正常工作 flink 版本为1.15.3，日志中的错误如下： 页面上的现象如下： zk中的状态看上tm的信息不会删除，仍然是被locks的状态 请教下各位，是否有遇到类似的情况，zk中的过久信息是否可以配置删除？

Re: kafka_appender收集flink任务日志连接数过多问题

可以考虑在每台 yarn 机器部署日志服务(可收集本机的日志到 kafka) yarn container -> 单机的日志服务 -> kafka. On Mon, Oct 16, 2023 at 3:58 PM 阿华田 wrote: > > Flink集群使用kafka_appender收集flink产生的日志，但是现在实时运行的任务超过了三千个，运行的yarn-container有20万+。导致存储日志的kafka集群连接数过多，kafka集群压力有点大，请教各位大佬flink日志采集这块还有什么好的方式吗 > > > | | > 阿华田 > | > | >

Re: flink sql不支持show create catalog 吗？

hi casel 从 1.18 开始，引入了 CatalogStore，持久化了 Catalog 的配置，确实可以支持 show create catalog 了。 Best, Feng On Fri, Oct 20, 2023 at 11:55 AM casel.chen wrote: > 之前在flink sql中创建过一个catalog，现在想查看当初创建catalog的语句复制并修改一下另存为一个新的catalog，发现flink > sql不支持show create catalog 。 > 而据我所知doris是支持show create

flink sql不支持show create catalog 吗？

之前在flink sql中创建过一个catalog，现在想查看当初创建catalog的语句复制并修改一下另存为一个新的catalog，发现flink sql不支持show create catalog 。 而据我所知doris是支持show create catalog语句的。flink sql能否支持一下呢？

Re: Flink SQL的状态清理

Hi, 你好 如果使用的是 standalone session cluster, 想要在 JM/TM 日志中看到参数打印出来, 需要在集群启动前在 flink-conf.yaml 配置 table.exec.state.ttl: '${TTL}', 再启动集群; 集群启动后再修改的话, 日志不会打印出来, 可以通过 SET; 命令查看当前 SQL CLI 中配置的参数. 另外, 需要先执行 SET 'table.exec.state.ttl' = '${TTL}' , 然后提交作业, 可以确认下操作顺序是否有误. 祝好! Jane On Mon, Oct 9, 2023 at

Re: 请问1.18什么时候可以发布呢，想体验1.17jdk

快了，已经开始voting了 :-)) On Sun, Oct 15, 2023 at 5:55 AM kcz <573693...@qq.com.invalid> wrote: >

kafka_appender收集flink任务日志连接数过多问题

Flink集群使用kafka_appender收集flink产生的日志，但是现在实时运行的任务超过了三千个，运行的yarn-container有20万+。导致存储日志的kafka集群连接数过多，kafka集群压力有点大，请教各位大佬flink日志采集这块还有什么好的方式吗 | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制

Flink启动失败问题

Flink版本 到bin目录执行: ./start-cluster.sh 报错信息: 看是端口占用其实没有 尝试修改端口，还是一样报错端口问题， 任意修改一个端口多是报同上面一样的错误。 端口也是开放的 希望大佬们能帮忙看看是什么问题呢??? | | qwemssd | | qwem...@163.com |

请问1.18什么时候可以发布呢，想体验1.17jdk

Re: Problems with the state.backend.fs.memory-threshold parameter

Hi rui, The 'state.backend.fs.memory-threshold' configures the threshold below which state is stored as part of the metadata, rather than in separate files. So as a result the JM will use its memory to merge small checkpoint files and write them into one file. Currently the FLIP-306[1][2] is

Real-time task blocking problem

After the task restart of our 1.13 version, kakfa consumption zero problem occurred. Have you ever encountered it?

Problems with the state.backend.fs.memory-threshold parameter

We found that for some tasks, the JM memory continued to increase. I set the parameter of state.backend.fs.memory-threshold to 0, and the JM memory would no longer increase, but many small files might be written in this way. Does the community have any optimization plan for this area?

Re: Cannot find metata file metadats in directory

After the task is restarted for several times, it is found that the supported cp is deleted. I view the audit log of HDFS and find that the deletion request comes from JM Hangxiang Yu 于2023年9月30日周六 17:10写道： > Hi, > How did you point out the checkpoint path you restored from ? > > Seems that you

Re: 关于Flink SQL无法对带metadata列的表在执行insert into时，指定具体的列名的问题。

感谢大佬！！！ > 2023年10月13日 10:44，tanjialiang 写道： > > Hi, > 这个问题已经在1.17.0修复，详细可以看https://issues.apache.org/jira/browse/FLINK-30922 > > > best wishes, > tanjialiang. > > > 回复的原邮件 > | 发件人 | jinzhuguang | > | 发送日期 | 2023年10月13日 10:39 | > | 收件人 | user-zh | > | 主题 | 关于Flink

回复：关于Flink SQL无法对带metadata列的表在执行insert into时，指定具体的列名的问题。

Hi, 这个问题已经在1.17.0修复，详细可以看https://issues.apache.org/jira/browse/FLINK-30922 best wishes, tanjialiang. 回复的原邮件 | 发件人 | jinzhuguang | | 发送日期 | 2023年10月13日 10:39 | | 收件人 | user-zh | | 主题 | 关于Flink SQL无法对带metadata列的表在执行insert into时，指定具体的列名的问题。 | 首先，我的Flink版本为1.16.0 为了方便理解，我以Kafka作为案例来描述:

关于Flink SQL无法对带metadata列的表在执行insert into时，指定具体的列名的问题。

首先，我的Flink版本为1.16.0 为了方便理解，我以Kafka作为案例来描述: 我有以下两个表： CREATE TABLE orders( user_id BIGINT, name STRING, timestamp TIMESTAMP(3) METADATA VIRTUAL )WITH( 'connector'='kafka', 'topic'='orders', 'properties.group.id' = 'test_join_tempral', 'scan.startup.mode'='earliest-offset',

回复： Flink SQL的状态清理

你好，老师，我也是这样设置的，我这边是flink sql client，但是我去flink web ui界面并没有看到这个配置生效。 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | Jane Chan | | 发送日期 | 2023年9月25日 11:24 | | 收件人 | | | 主题 | Re: Flink SQL的状态清理 | Hi, 可以通过设置 table.exec.state.ttl 来控制状态算子的 state TTL. 更多信息请参阅 [1] [1]

toolongframeexception

大家好： 我搭建了一个单机standealone 的flink用来测试mysql CDC，我发现每天晚上4点和4.30，我的taskmanager和jobmanager日志都有akka的TooLongFrameException，是BlobServerConnection报出来的，那个时候可能有定时任务在操作大量操作mysql数据库，我想问： 1. TooLongFrameException可能是mysql操作比较大造成的吗？如果是，有解决方法吗？ 2. BlobServer是干嘛的？我一直认为blobserver是用来放job jar之类的，应该和cdc

回复：flink两阶段提交

多谢啦 回复的原邮件 | 发件人 | Feng Jin | | 日期 | 2023年10月08日 13:17 | | 收件人 | user-zh@flink.apache.org | | 抄送至 | | | 主题 | Re: flink两阶段提交 | hi, 可以参考这篇博客，描述的非常清晰： https://flink.apache.org/2018/02/28/an-overview-of-end-to-end-exactly-once-processing-in-apache-flink-with-apache-kafka-too/ Best,

Re: flink两阶段提交

hi, 可以参考这篇博客，描述的非常清晰： https://flink.apache.org/2018/02/28/an-overview-of-end-to-end-exactly-once-processing-in-apache-flink-with-apache-kafka-too/ Best, Feng On Sun, Sep 24, 2023 at 9:54 PM 海风 <18751805...@163.com> wrote: > 请教一下，flink的两阶段提交对于sink算子，预提交是在做检查点的哪个阶段触发的？预提交时具体是做了什么工作？ > > >

Re: Flink CDC消费Apache Paimon表

hi casel Flink 实时消费 paimon，默认情况就是全量 + 增量的方式。 具体可以参考： https://paimon.apache.org/docs/master/maintenance/configurations/ 中的 scan.mode 参数 best, Feng On Fri, Sep 29, 2023 at 5:50 PM casel.chen wrote: > 目前想要通过Flink全量+增量消费Apache Paimon表需要分别起离线和增量消费两个作业，比较麻烦，而且无法无缝衔接，能否通过类似Flink >

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Yunfeng On Wed, Oct 4, 2023 at 10:07 AM 1 wrote: > >

退订

Re: Cannot find metata file metadats in directory

Hi, How did you point out the checkpoint path you restored from ? Seems that you are trying to restore from a not completed or failed checkpoint. On Thu, Sep 28, 2023 at 6:09 PM rui chen wrote: > When we use 1.13.2,we have the following error: > FileNotFoundException: Cannot find metata file

Flink CDC消费Apache Paimon表

目前想要通过Flink全量+增量消费Apache Paimon表需要分别起离线和增量消费两个作业，比较麻烦，而且无法无缝衔接，能否通过类似Flink CDC消费mysql表的方式消费Apache Paimon表？

Cannot find metata file metadats in directory

When we use 1.13.2,we have the following error: FileNotFoundException: Cannot find metata file metadats in directory 'hdfs://xx/f408dbe327f9e5053e76d7b5323d6e81/chk-173'.

回复: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Zhanghao Chen 发件人: guangyu05 发送时间: 2023年9月26日 18:45 收件人: user-zh@flink.apache.org 主题: 退订 退订

退订

退订

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org mailto:u...@flink.apache.org>> 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org mailto:u...@flink.apache.org>> 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org mailto:u...@flink.apache.org>> 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org

退订

退订

退订

退订

退订

退订

退订

退订

Re: Default Flink S3 FileSource timeout due to large file listing

退订 Replied Message | From | Eleanore Jin | | Date | 09/26/2023 01:50 | | To | user-zh | | Subject | Default Flink S3 FileSource timeout due to large file listing | Hello Flink Community, Flink Version: 1.16.1, Zookeeper for HA. My Flink Applications reads raw parquet files hosted in

Default Flink S3 FileSource timeout due to large file listing

Hello Flink Community, Flink Version: 1.16.1, Zookeeper for HA. My Flink Applications reads raw parquet files hosted in S3, applies transformations and re-writes them to S3, under a different location. Below is my code to read from parquets from S3: ``` final Configuration configuration = new

Re: 1.17.1 - Interval join的时候发生NPE

Hi Hangxiang, 感谢您的回应。 下面是该问题的关键代码，main_stream表是流数据源，数据事件流频约每笔500ms~1s，目前尝试将t1minStream和t5minStream assignTimestampsAndWatermarks(WatermarkStrategy.noWatermarks())是不会产生这问题造成作业失败了，但输出会有数据丢失。 如有其他思路，麻烦你了。 String t1minSql = "SELECT rowtime, key, id, AVG(num) OVER w_t1min AS avg_t1min FROM

Re: Flink SQL的状态清理

Hi, 可以通过设置 table.exec.state.ttl 来控制状态算子的 state TTL. 更多信息请参阅 [1] [1] https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/table/concepts/overview/#%e7%8a%b6%e6%80%81%e7%ae%a1%e7%90%86 Best, Jane On Thu, Sep 21, 2023 at 5:17 PM faronzz wrote: > 试试这个

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh@flink.apache.org , and you can refer [1][2] for more details. Best,

Re: 1.17.1 - Interval join的时候发生NPE

Hi, 请问下是 SQL 作业还是 DataStream 作业，可以提供一些可复现的关键 SQL 或代码吗 On Sat, Sep 23, 2023 at 3:59 PM Phoes Huang wrote: > Hi, > > 单机本地开发执行，遇到该问题，请问有人遇过并解决吗？ > > 2023-09-23 13:52:03.989 INFO > [flink-akka.actor.default-dispatcher-9][Execution.java:1445] - Interval > Join (19/20) >

在使用使用jemalloc内存分配器一段时间后，出现checkpoint 超时，任务卡住的情况

在使用使用jemalloc内存分配器一段时间后，出现checkpoint 超时，任务卡住的情况，哪位遇到过呢？flink版本：flink-1.13.2，jiemalloc版本：5.3.0

After using the jemalloc memory allocator for a period of time, checkpoint timeout occurs and tasks are stuck

After using the jemalloc memory allocator for a period of time, checkpoint timeout occurs and tasks are stuck. Who has encountered this? flink version:1.13.2, jiemalloc version: 5.3.0

flink两阶段提交

请教一下，flink的两阶段提交对于sink算子，预提交是在做检查点的哪个阶段触发的？预提交时具体是做了什么工作？

1.17.1 - Interval join的时候发生NPE

Hi, 单机本地开发执行，遇到该问题，请问有人遇过并解决吗？ 2023-09-23 13:52:03.989 INFO [flink-akka.actor.default-dispatcher-9][Execution.java:1445] - Interval Join (19/20) (ff8e25fb94208d3c27f549a1e24757ea_e8388ada9c03cfdb1446bb3ccfbd461b_18_0) switched from RUNNING to FAILED on d569c5db-6882-496b-9e92-8a40bb631784 @

如何获取flink任务 source 和sink的所链接的中间件的ip信息

本人目前再做实时计算平台，想审计平台上所有运行flink任务的中间件的连接信息。比如job1 是kafka写入hbase的flink任务，希望可以自动审计此任务所连接的kafka的集群ip地址和topic以及hbase的集群ip地址和表信息 | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制

回复：Flink SQL的状态清理

试试这个 t_env.get_config().set("table.exec.state.ttl", "86400 s") | | faronzz | | faro...@163.com | 回复的原邮件 | 发件人 | 小昌同学 | | 发送日期 | 2023年09月21日 17:06 | | 收件人 | user-zh | | 主题 | Flink SQL的状态清理 | 各位老师好，请教一下大家关于flink sql的状态清理问题，我百度的话只找到相关的minbath设置，sql是没有配置state的ttl设置嘛 | | 小昌同学 | |

Flink SQL的状态清理

各位老师好，请教一下大家关于flink sql的状态清理问题，我百度的话只找到相关的minbath设置，sql是没有配置state的ttl设置嘛 | | 小昌同学 | | ccc0606fight...@163.com |

Re: Flink cdc 2.0 历史数据太大，导致log积压怎么解决

你好，除了这些运维手段外，flink cdc本身有什么解法吗，比如说增量阶段不用从头开始读binlog，因为其实很多都是重复读到的数据 > 2023年9月20日 21:00，Jiabao Sun 写道： > > Hi, > 生产环境的binlog还是建议至少保留7天，可以提高故障恢复时间容忍度。 > 另外，可以尝试增加snapshot的并行度和资源来提升snapshot速度，snapshot完成后可以从savepoint恢复并减少资源。 > Best, > Jiabao >

Re: 回复：flink1.17版本不支持hive 2.1版本了吗

把这个 pr https://github.com/apache/flink/pull/19352 revert 掉，然后重新打包 flink hive connector 就可以。 Best regards, Yuxia - 原始邮件 - 发件人: "迎风浪子" <576637...@qq.com.INVALID> 收件人: "user-zh" 发送时间: 星期二, 2023年 9 月 19日 下午 5:20:58 主题: 回复：flink1.17版本不支持hive 2.1版本了吗 我们还在使用hive1.1.0，怎么办？ ---原始邮件--- 发件人:

Flink cdc 2.0 历史数据太大，导致log积压怎么解决

以mysql cdc为例，现在的f整体流程是先同步全量数据，再开启增量同步；我看代码目前增量的初始offset选择的是所有全量split的最小的highwatermark。那我如果全量数据很大，TB级别，全量同步可能需要很久，但是binlog又不能删除，这样堆积起来会占用很大的空间，不知道这个问题现在有什么常见的解法吗？

Re: Flink cdc 2.0 历史数据太大，导致log积压怎么解决

Hi, 生产环境的binlog还是建议至少保留7天，可以提高故障恢复时间容忍度。 另外，可以尝试增加snapshot的并行度和资源来提升snapshot速度，snapshot完成后可以从savepoint恢复并减少资源。 Best, Jiabao -- From:jinzhuguang Send Time:2023年9月20日(星期三) 20:56 To:user-zh Subject:Flink cdc 2.0 历史数据太大，导致log积压怎么解决

Flink cdc 2.0 历史数据太大，导致log积压怎么解决

以mysql cdc为例，现在的f整体流程是先同步全量数据，再开启增量同步；我看代码目前增量的初始offset选择的是所有全量split的最小的highwatermark。那我如果全量数据很大，TB级别，全量同步可能需要很久，但是binlog又不能删除，这样堆积起来会占用很大的空间，不知道这个问题现在有什么常见的解法吗？

[CVE-2023-41834] Apache Flink Stateful Functions allowed HTTP header injection due to Improper Neutralization of CRLF Sequences

CVE-2023-41834: Apache Flink Stateful Functions allowed HTTP header injection due to Improper Neutralization of CRLF Sequences Severity: moderate Vendor: The Apache Software Foundation Versions Affected: Stateful Functions 3.1.0 to 3.2.0 Description: Improper Neutralization of CRLF Sequences

[ANNOUNCE] Apache Flink Stateful Functions Release 3.3.0 released

The Apache Flink community is excited to announce the release of Stateful Functions 3.3.0! Stateful Functions is a cross-platform stack for building Stateful Serverless applications, making it radically simpler to develop scalable, consistent, and elastic distributed applications. This new

回复: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件 Best, Zhanghao Chen 发件人: Lynn Chen 发送时间: 2023年9月15日 16:56 收件人: user-zh@flink.apache.org 主题: 退订 退订

回复: flink-metrics如何获取applicationid

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件 Best, Zhanghao Chen 发件人: im huzi 发送时间: 2023年9月15日 18:14 收件人: user-zh@flink.apache.org 主题: Re: flink-metrics如何获取applicationid 退订 On Wed, Aug 30, 2023 at 19:14

Re: flink-metrics如何获取applicationid

退订 On Wed, Aug 30, 2023 at 19:14 allanqinjy wrote: > hi， >请教大家一个问题，就是在上报指标到prometheus时候，jobname会随机生成一个后缀，看源码也是new Abstract > ID（），有方法在这里获取本次上报的作业applicationid吗？

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh@flink.apache.org , and you can refer [1][2] for more details. Best,

回复：flink-metrics如何获取applicationid

请问好使吗，怎么使用的 | | 吴先生 | | 15951914...@163.com | 回复的原邮件 | 发件人 | allanqinjy | | 发送日期 | 2023年8月30日 20:02 | | 收件人 | user-zh@flink.apache.org | | 主题 | 回复：flink-metrics如何获取applicationid | 多谢了，明天改一下代码试试 回复的原邮件 | 发件人 | Feng Jin | | 发送日期 | 2023年08月30日 19:42 | | 收件人 | user-zh | | 主题 |

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh@flink.apache.org , and you can refer [1][2] for more details. Best,

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh@flink.apache.org , and you can refer [1][2] for more details. Best,

退订

退订 发自我的 iPhone

退订

退订 发自我的 iPhone

退订

退订

退订

退订

退订

退订

退订

退订

Re: flink rocksdb在托管&非托管模式下rocksdb内存计算

Hi, https://flink-learning.org.cn/article/detail/c1db8bc157c72069979e411cd99714fd 这篇文章中有一些关于 Flink RocksDB write buffer 和 block cache 内存计算的理论和实例讲解，可以参考下 On Fri, Sep 1, 2023 at 2:56 PM crazy <2463829...@qq.com.invalid> wrote: > 大佬们好， >flink1.13.5 >

Re: 退订

退订请发送邮件至 user-zh-unsubscr...@flink.apache.org Best, Jane On Sun, Sep 3, 2023 at 6:15 PM lei-tian wrote: > 退订 > > > | | > lei-tian > | > | > totorobabyf...@163.com > |

退订

退订 | | lei-tian | | totorobabyf...@163.com |

Re: Could not retrieve JobResults of globally-terminated jobs from JobResultStore

Hi, 是流式作业还是批式作业无法恢复吗？从错误上看作业已经处于结束状态，你可以查看一下有没有其他错误日志，看看为什么作业失败退出了 Best, Shammon FY On Thu, Aug 31, 2023 at 7:47 PM denghaibin wrote: > flink-1.16.0任务运行一段时间后，大批量任务失败。错误日志如下。麻烦大佬看下是什么问题 > java.util.concurrent.CompletionException: > org.apache.flink.util.FlinkRuntimeException: Could not

Could not retrieve JobResults of globally-terminated jobs from JobResultStore

flink-1.16.0任务运行一段时间后，大批量任务失败。错误日志如下。麻烦大佬看下是什么问题 java.util.concurrent.CompletionException: org.apache.flink.util.FlinkRuntimeException: Could not retrieve JobResults of globally-terminated jobs from JobResultStore at

回复：flink-metrics如何获取applicationid

多谢了，明天改一下代码试试 回复的原邮件 | 发件人 | Feng Jin | | 发送日期 | 2023年08月30日 19:42 | | 收件人 | user-zh | | 主题 | Re: flink-metrics如何获取applicationid | hi, 可以尝试获取下 _APP_ID 这个 JVM 环境变量. System.getenv(YarnConfigKeys.ENV_APP_ID);

回复：flink-metrics如何获取applicationid

多谢，明天修改一下代码试试 回复的原邮件 | 发件人 | Feng Jin | | 发送日期 | 2023年08月30日 19:42 | | 收件人 | user-zh | | 主题 | Re: flink-metrics如何获取applicationid | hi, 可以尝试获取下 _APP_ID 这个 JVM 环境变量. System.getenv(YarnConfigKeys.ENV_APP_ID);

Re: flink-metrics如何获取applicationid

hi, 可以尝试获取下 _APP_ID 这个 JVM 环境变量. System.getenv(YarnConfigKeys.ENV_APP_ID); https://github.com/apache/flink/blob/6c9bb3716a3a92f3b5326558c6238432c669556d/flink-yarn/src/main/java/org/apache/flink/yarn/YarnConfigKeys.java#L28 Best, Feng On Wed, Aug 30, 2023 at 7:14 PM allanqinjy wrote: > hi，

flink-metrics如何获取applicationid

hi， 请教大家一个问题，就是在上报指标到prometheus时候，jobname会随机生成一个后缀，看源码也是new Abstract ID（），有方法在这里获取本次上报的作业applicationid吗？

Re:Re: Re: K8s Appliaction模式无法支持flinkjar中Java动态编译？

是的我的任务的jar包里包含动态编译所有依赖的， 任务的jar是通过 k8s Apllication模式 userJar 方式进行动态加载的； 在 2023-08-30 12:14:18，"孙路昊" 写道： >依赖的jar包，有编译到启动jar包里面吗 > >周坤 <18679131...@163.com>于2023年8月30日 周三11:15写道： > >> >> 你好！在K8s模式中，动态编译缺失运行在UserJar中，启动的时候通过RIch算子的Open方法从第三方拉取原始class文件，然后进行动态编译进行缓存内存中， >> 按照YARN

退订

Re: Re: K8s Appliaction模式无法支持flinkjar中Java动态编译？

依赖的jar包，有编译到启动jar包里面吗 周坤 <18679131...@163.com>于2023年8月30日 周三11:15写道： > > 你好！在K8s模式中，动态编译缺失运行在UserJar中，启动的时候通过RIch算子的Open方法从第三方拉取原始class文件，然后进行动态编译进行缓存内存中， > 按照YARN PER模式该方式是没有问题， 但是在K8s > Apllication模式，会找不到原始class文件中的依赖，其实在UserJar中有该文件的类依赖的； > 目前发现这个依赖类单独打jar包放在在lib目录下在框架运行时就加载才能找到依赖类，但是又不太符合规范；

Re:Re: K8s Appliaction模式无法支持flinkjar中Java动态编译？

你好！在K8s模式中，动态编译缺失运行在UserJar中，启动的时候通过RIch算子的Open方法从第三方拉取原始class文件，然后进行动态编译进行缓存内存中， 按照YARN PER模式该方式是没有问题， 但是在K8s Apllication模式，会找不到原始class文件中的依赖，其实在UserJar中有该文件的类依赖的； 目前发现这个依赖类单独打jar包放在在lib目录下在框架运行时就加载才能找到依赖类，但是又不太符合规范； 在 2023-08-24 10:30:20，"Weihua Hu" 写道： Hi, 抱歉我对 JavaCompiler

flink_1.13 rocksdb????

?? ??rocksdb?? flink??1.13.5 flink on yarn ??block_cache??write_buffer_manager block_cache_capacity=((3 - writeBufferRatio) * totalMemorySize / 3) write_buffer_manager=(2 * totalMemorySize * writeBufferRatio / 3)

Re: flink sql语句转成底层处理函数

Loglevel 设置为 debug 之后，可以看到具体的 codegen 的代码。 On Mon, Aug 28, 2023 at 1:25 PM 海风 <18751805...@163.com> wrote: > 嗯，执行计划确实可以看到一些信息，只是还想知道是否还有比较好的方式能看具体有哪些底层函数以及状态，从而更方便去分析性能相关问题的 > > > > 回复的原邮件 > | 发件人 | Shammon FY | > | 日期 | 2023年08月28日 12:05 | > | 收件人 | user-zh@flink.apache.org | > | 抄送至

来自周勃的邮件

退订

退订

退订

退订

退订

回复：flink sql语句转成底层处理函数

嗯，执行计划确实可以看到一些信息，只是还想知道是否还有比较好的方式能看具体有哪些底层函数以及状态，从而更方便去分析性能相关问题的 回复的原邮件 | 发件人 | Shammon FY | | 日期 | 2023年08月28日 12:05 | | 收件人 | user-zh@flink.apache.org | | 抄送至 | | | 主题 | Re: flink sql语句转成底层处理函数 | 如果想看一个sql被转换后包含哪些具体执行步骤，可以通过explain语法[1]查看执行计划 [1]

Re: flink sql语句转成底层处理函数

如果想看一个sql被转换后包含哪些具体执行步骤，可以通过explain语法[1]查看执行计划 [1] https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sql/explain/ On Sun, Aug 27, 2023 at 5:23 PM 海风 <18751805...@163.com> wrote: > 请教下，是否可以去查询一个flink > sql提交运行后，flink给它转成的底层处理函数到底是什么样的，假如涉及状态计算，flink给这个sql定义的状态变量是哪些呢？ > > >

flink sql语句转成底层处理函数

请教下，是否可以去查询一个flink sql提交运行后，flink给它转成的底层处理函数到底是什么样的，假如涉及状态计算，flink给这个sql定义的状态变量是哪些呢？

妈逼，这些都是假洋鬼子

发件人: faronzz 发送时间: 2023年8月26日 22:12 收件人: user-zh@flink.apache.org 主题: pyflink aggfunction in window tvf can not sink connection='kafka', it notice consuming update changesm, java aggfunction and aggfunction in flink, such as sum is ok hi~ I came across

pyflink aggfunction in window tvf can not sink connection='kafka', it notice consuming update changesm, java aggfunction and aggfunction in flink, such as sum is ok

hi~ I came across a problem I didn't understand，I can't use pyflink aggfuction function properly in window tvf, The following are available： java aggfuntion flink system aggfunction window (not window tvf) I want to know if this is a bug or if I'm using it the wrong way？ pyflink 1.17.1

中国各地居民担心盐被污染，掀起抢购食盐的浪潮

日本福岛第一核电站的核处理水排入大海，中国外交部除了向日本政府提出严重交涉外，并开动宣传机器宣传"核污水排海可致癌"等负面消息，登上微博热搜。中国各地居民担心盐被污染，掀起抢购食盐的浪潮。 日本政府于本周四（24日）中午启动福岛第一核电站处理过的核废水排入太平洋的相关计划。中国各大媒体通过社交平台发出有关日本核污水可致癌、致畸，甚至造成人体DNA断裂的消息。封面新闻引述专家称，日本核污水排放可能造成基因损害。人民网指美国一边支持日本将污水排放到海里一边减少进口日本农林水产；新华社则报道指多名福岛居民接受新华社记者采访时，谴责日本政府和东京电力公司违反当初不擅自处理核污染水的承诺.

答复: 朝鲜第二次发射军事侦察卫星，对话是解决问题的“唯一出路”

资料显示，渐冻症一般指肌萎缩侧索硬化，它是上运动神经元和下运动神经元损伤之后，导致包括球部（指延髓支配的这部分肌肉）、四肢、躯干、胸部腹部的肌肉逐渐无力和萎缩。 发件人: tison 发送时间: 2023年8月26日 10:15 收件人: user-zh@flink.apache.org ; priv...@flink.apache.org 主题: Re: 朝鲜第二次发射军事侦察卫星，对话是解决问题的“唯一出路” I suggest we should ban this spamming source..

<    1   2   3   4   5   6   7   8   9   10   >