[ANNOUNCE] Community over Code EU 2024 Travel Assistance Applications now open!

Hi everyone, The Apache Software Foundation is organizing another Community over Code event, where a wide variety of speakers will be speaking. You can find all the details at https://eu.communityovercode.org/ Within the ASF, there is a so-called Travel Assistance Committee (TAC). This committee

Re:回复： flink ui 算子数据展示一直loading...

Hi, 手动curl 有问题的metric的接口，出来的数据正常吗？ JM log里有发现什么异常么？ -- Best！ Xuyang 在 2024-01-26 11:51:53，"阿华田" 写道： >这个维度都排查了 都正常 > > >| | >阿华田 >| >| >a15733178...@163.com >| >签名由网易邮箱大师定制 > > >在2024年01月23日 21:57，Feng Jin 写道： >可以尝试着下面几种方式确认下原因： > > >1. > >打开浏览器开发者模式，看是否因为请求某个接口卡住 >2. > >查看下

回复： flink ui 算子数据展示一直loading...

这个维度都排查了 都正常 | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制 在2024年01月23日 21:57，Feng Jin 写道： 可以尝试着下面几种方式确认下原因： 1. 打开浏览器开发者模式，看是否因为请求某个接口卡住 2. 查看下 JobManager 的 GC 情况，是否频繁 FullGC 3. 查看下 JobManager 的日志，是否存在某些资源文件丢失或者磁盘异常情况导致 web UI 无法访问. Best, Feng On Tue, Jan 23, 2024 at 6:16 PM 阿华田

Re: [ANNOUNCE] Apache Flink 1.18.1 released

Hi folks, The bug has been fixed and PR at docker-library/official-images has been merged. The official images are available now. Best regards, Jing On Mon, Jan 22, 2024 at 11:39 AM Jing Ge wrote: > Hi folks, > > I am still working on the official images because of the issue >

Re: 实时数仓场景落地问题

实时数仓落地建议先动手做一两个场景真实应用起来，见过好几个项目一开始目标定得过大，实时数仓、流批一体、数据管控啥的都规划进去，结果项目陷入无尽的扯皮，架构设计也如空中楼阁。 实践过程中不要太过于向已有数仓分层模型靠拢，从源系统直接拼接宽表到dws层就足以应付大部分需求了。下游应用再用MPP来满足业务层的实时聚合、BI需求。 等立了几个烟囱，自己项目的实时数仓怎么做也基本有了思路

Re: RocksDB增量模式checkpoint大小持续增长的问题

> 2024年1月18日 14:59，fufu 写道： > > 看hdfs上shard文件比chk-xxx要大很多。 > > > > 在 2024-01-18 14:49:14，"fufu" 写道： > > 是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink > UI上看到窗口算子的size不断增大，一天能增加个600~800M，持续不断的增大。以下图为例：ID为313的cp比ID为304的大了将近10M，一直运行，会一直这么增加下去。cp文件和rocksdb文件正在看~ > > 在 2024-01-18

关于 flink Async io checkpoint restore

HI All flink 1.18.0 jdk 17 使用异步IO 失败后无法恢复，一直报序列化问题； 我调整使用 string 类型和bytes 都不能够恢复 Caused by: org.apache.flink.runtime.state.BackendBuildingException: Failed when trying to restore operator state backend at org.apache.flink.runtime.state.DefaultOperatorStateBackendBuilder.build(

Re: flink ui 算子数据展示一直loading...

可以尝试着下面几种方式确认下原因： 1. 打开浏览器开发者模式，看是否因为请求某个接口卡住 2. 查看下 JobManager 的 GC 情况，是否频繁 FullGC 3. 查看下 JobManager 的日志，是否存在某些资源文件丢失或者磁盘异常情况导致 web UI 无法访问. Best, Feng On Tue, Jan 23, 2024 at 6:16 PM 阿华田 wrote: > > >

flink ui 算子数据展示一直loading...

如下图，任务处理数据正常，任务状态也正常，但是flink_ui一致处于loading中，只有个别任务这样，其他正常，有可能是metirc包的某个类冲突导致的吗？ | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制

Re: [ANNOUNCE] Apache Flink 1.18.1 released

Hi folks, I am still working on the official images because of the issue https://issues.apache.org/jira/browse/FLINK-34165. Images under apache/flink are available. Best regards, Jing On Sun, Jan 21, 2024 at 11:06 PM Jing Ge wrote: > Thanks Leonard for the feedback! Also thanks @Jark Wu >

RE: Re:RE: Re:RE: 如何基于flink cdc 3.x自定义不基于debezium的全增量一体source connector？

Hi, ResumeToken[1] can be considered globally unique[2]. Best, Jiabao [1] https://www.mongodb.com/docs/manual/changeStreams/#resume-tokens [2] https://img.alicdn.com/imgextra/i4/O1CN010e81SP1vkgoyL0nhd_!!66211-0-tps-2468-1360.jpg On 2024/01/22 09:36:42 "casel.chen" wrote: > > > >

Re:RE: Re:RE: 如何基于flink cdc 3.x自定义不基于debezium的全增量一体source connector？

V1版本依赖于DebeziumSourceFunction，后者依赖于DebeziumEngine产生changelog V2版本虽然依赖了 flink-connector-debezium 但没有用到debezium内部类 另外有一个问题：mongodb change stream断点续传用的resumeToken是像mysql binlog offset一样全局唯一么？ 如果数据源是像kafka一样每个分片有binlog offset的话， 是不是要在对应xxxOffset类中要定义一个Map类型的offsetField

Re:RE: Re:RE: binlog文件丢失问题

您好: 我确认我们两台mysql备库都开启了gtid选项,并且该问题我们进行了复现,复现步骤如下: flink版本 1.14.5 flink-connector-mysql-cdc版本 2.2.0 mysql版本 5.6.0 1.准备两台备库,并且binlog文件名相差很远没有交集 2.采集第一台备库,等待数据正常写入后,停止该cdc采集任务,正常保存savepoint 3.修改采集mysql的配置信息为备库2,并且将flink任务正常从savepoint启动,就会出现上述反馈的问题 在 2024-01-19

RE: Re:RE: 如何基于flink cdc 3.x自定义不基于debezium的全增量一体source connector？

Hi, Flink CDC MongoDB connector V1是基于 mongo-kafka 实现的，没有基于 debezium 实现。 Flink CDC MongoDB connector V2是基于增量快照读框架实现的，不依赖 mongo-kafka 和 debezium 。 Best, Jiabao [1] https://github.com/mongodb/mongo-kafka On 2024/01/22 02:57:38 "casel.chen" wrote: > > > > > > > > > > Flink CDC MongoDB

Re:RE: 如何基于flink cdc 3.x自定义不基于debezium的全增量一体source connector？

Flink CDC MongoDB connector 还是基于debezium实现的 在 2024-01-22 10:14:32，"Jiabao Sun" 写道： >Hi, > >可以参考 Flink CDC MongoDB connector 的实现。 > >Best, >Jiabao > > >On 2024/01/22 02:06:37 "casel.chen" wrote: >> 现有一种数据源不在debezium支持范围内，需要通过flink sql全增量一体消费，想着基于flink cdc >>

RE: 如何基于flink cdc 3.x自定义不基于debezium的全增量一体source connector？

Hi, 可以参考 Flink CDC MongoDB connector 的实现。 Best, Jiabao On 2024/01/22 02:06:37 "casel.chen" wrote: > 现有一种数据源不在debezium支持范围内，需要通过flink sql全增量一体消费，想着基于flink cdc > 3.x自行开发，查了一下现有大部分flink cdc source > connector都是基于debezium库开发的，只有oceanbase和tidb不是，但后二者用的source接口还是V1版本的，不是最新V2版本的incremental >

如何基于flink cdc 3.x自定义不基于debezium的全增量一体source connector？

现有一种数据源不在debezium支持范围内，需要通过flink sql全增量一体消费，想着基于flink cdc 3.x自行开发，查了一下现有大部分flink cdc source connector都是基于debezium库开发的，只有oceanbase和tidb不是，但后二者用的source接口还是V1版本的，不是最新V2版本的incremental snapshot，意味着全量阶段不支持checkpoint，如果作业失败需要重新从头消费。 想问一下有没有不基于debezium实现的V2版本source connector示例？谢谢！

Re: [ANNOUNCE] Apache Flink 1.18.1 released

Thanks Leonard for the feedback! Also thanks @Jark Wu @Chesnay Schepler and each and everyone who worked closely with me for this release. We made it together! Best regards, Jing On Sun, Jan 21, 2024 at 9:25 AM Leonard Xu wrote: > Thanks Jing for driving the release, nice work! > > Thanks

Re: [ANNOUNCE] Apache Flink 1.18.1 released

Thanks Jing for driving the release, nice work! Thanks all who involved this release! Best, Leonard > 2024年1月20日 上午12:01，Jing Ge 写道： > > The Apache Flink community is very happy to announce the release of Apache > Flink 1.18.1, which is the first bugfix release for the Apache Flink 1.18 >

[ANNOUNCE] Apache Flink 1.18.1 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.18.1, which is the first bugfix release for the Apache Flink 1.18 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming

RE: Re:RE: binlog文件丢失问题

Hi, 日志中有包含 GTID 的内容吗？ 用 SHOW VARIABLES LIKE 'gtid_mode’; 确认下是否开启了GTID呢？ Best, Jiabao On 2024/01/19 09:36:38 wyk wrote: > > > > > > > > > > 抱歉,具体报错和代码如下: > > > 报错部分: > Caused by: java.lang.IllegalStateException: The connector is trying to read > binlog starting at >

Re:RE: binlog文件丢失问题

抱歉,具体报错和代码如下: 报错部分: Caused by: java.lang.IllegalStateException: The connector is trying to read binlog starting at Struct{version=1.5.4.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1705645599953,db=,server_id=0,file=mysql_bin.007132,pos=729790304,row=0}, but this is no longer

RE: binlog文件丢失问题

Hi, 你的图挂了，可以贴一下图床链接或者直接贴一下代码。 Best, Jiabao On 2024/01/19 09:16:55 wyk wrote: > > > 各位大佬好: > 现在有一个binlog文件丢失问题,需要请教各位,具体问题描述如下: > > > 问题描述: > 场景: 公司mysql有两个备库: 备库1和备库2。 > 1. 现在备库1需要下线,需要将任务迁移至备库2 > 2.我正常将任务保存savepoint后,将链接信息修改为备库2从savepoint启动,这个时候提示报错binlog文件不存在问题,报错截图如下图一 >

binlog文件丢失问题

各位大佬好: 现在有一个binlog文件丢失问题,需要请教各位,具体问题描述如下: 问题描述: 场景: 公司mysql有两个备库: 备库1和备库2。 1. 现在备库1需要下线,需要将任务迁移至备库2 2.我正常将任务保存savepoint后,将链接信息修改为备库2从savepoint启动,这个时候提示报错binlog文件不存在问题,报错截图如附件内图一

binlog文件丢失问题

各位大佬好: 现在有一个binlog文件丢失问题,需要请教各位,具体问题描述如下: 问题描述: 场景: 公司mysql有两个备库: 备库1和备库2。 1. 现在备库1需要下线,需要将任务迁移至备库2 2.我正常将任务保存savepoint后,将链接信息修改为备库2从savepoint启动,这个时候提示报错binlog文件不存在问题,报错截图如下图一

RE: Re:RE: RE: flink cdc动态加表不生效

Hi, oracle cdc connector 已经接入增量快照读框架，动态加表也是可以统一去实现的。 可以去社区创建issue，也欢迎直接贡献。 Best, Jiabao On 2024/01/19 04:46:21 "casel.chen" wrote: > > > > > > > 想知道oracle cdc connector不支持动态加表的原因是什么？可否自己扩展实现呢？ > > > > > > > > > > > > 在 2024-01-19 11:53:49，"Jiabao Sun" 写道： > >Hi, > > > >Oracle

Re:RE: RE: flink cdc动态加表不生效

想知道oracle cdc connector不支持动态加表的原因是什么？可否自己扩展实现呢？ 在 2024-01-19 11:53:49，"Jiabao Sun" 写道： >Hi, > >Oracle CDC connector[1] 目前是不支持动态加表的。 > >Best, >Jiabao > >[1] >https://ververica.github.io/flink-cdc-connectors/release-2.4/content/connectors/oracle-cdc.html > > >On 2024/01/19

RE: 退订

Please send email to user-unsubscr...@flink.apache.org if you want to unsubscribe the mail from u...@flink.apache.org, and you can refer [1][2] for more details. 请发送任意内容的邮件到 user-unsubscr...@flink.apache.org 地址来取消订阅来自 u...@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Best, Jiabao [1]

RE: RE: flink cdc动态加表不生效

Hi, Oracle CDC connector[1] 目前是不支持动态加表的。 Best, Jiabao [1] https://ververica.github.io/flink-cdc-connectors/release-2.4/content/connectors/oracle-cdc.html On 2024/01/19 03:37:41 Jiabao Sun wrote: > Hi, > > 请提供一下 flink cdc 的版本，使用的什么连接器。 > 如果方便的话，也请提供一下日志。 > 另外，table 的正则表达式可以匹配到新增的表吗？ > >

退订

退订

RE: flink cdc动态加表不生效

Hi, 请提供一下 flink cdc 的版本，使用的什么连接器。 如果方便的话，也请提供一下日志。 另外，table 的正则表达式可以匹配到新增的表吗？ Best, Jiabao [1] https://ververica.github.io/flink-cdc-connectors/release-3.0/content/connectors/mysql-cdc%28ZH%29.html#id15 On 2024/01/19 03:27:22 王凯 wrote: > 在使用flink

Re: Re:Re: RocksDB增量模式checkpoint大小持续增长的问题

图挂了看不到，不然你把文字信息简单复制下来看看？ 另外你的ProcessWindowFunction里是否会访问state，如果访问了，是否实现了clear方法？ On Thu, Jan 18, 2024 at 3:01 PM fufu wrote: > 看hdfs上shard文件比chk-xxx要大很多。 > > > > 在 2024-01-18 14:49:14，"fufu" 写道： > > 是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink >

Re:Re:Re: RocksDB增量模式checkpoint大小持续增长的问题

看hdfs上shard文件比chk-xxx要大很多。 在 2024-01-18 14:49:14，"fufu" 写道： 是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink UI上看到窗口算子的size不断增大，一天能增加个600~800M，持续不断的增大。以下图为例：ID为313的cp比ID为304的大了将近10M，一直运行，会一直这么增加下去。cp文件和rocksdb文件正在看~ 在 2024-01-18 10:56:51，"Zakelly Lan" 写道：

Re:Re: RocksDB增量模式checkpoint大小持续增长的问题

是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink UI上看到窗口算子的size不断增大，一天能增加个600~800M，持续不断的增大。以下图为例：ID为313的cp比ID为304的大了将近10M，一直运行，会一直这么增加下去。cp文件和rocksdb文件正在看~ 在 2024-01-18 10:56:51，"Zakelly Lan" 写道： >你好，能提供一些详细的信息吗，比如：是datastream作业吧？是否设置了State

Re: RocksDB增量模式checkpoint大小持续增长的问题

你好，能提供一些详细的信息吗，比如：是datastream作业吧？是否设置了State TTL？观测到逐渐变大是通过checkpoint监控吗，总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大 On Wed, Jan 17, 2024 at 4:09 PM fufu wrote: > >

Re: flink cdc 读取数据后面可以跟窗口函数吗

你好， CDC Source 目前不支持窗口函数。 不过可以考虑通过非窗口聚合的方式实现类似的效果。具体方法为： 1. 使用DATE_FORMAT函数，将时间字段转换成分钟粒度的字符串，作为窗口值。 2. 根据窗口值进行GROUP BY聚合。 Best, Hang Xuyang 于2024年1月17日周三 19:34写道： > Hi, > Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。 > 可以具体描述一下“一直不生效”的现象和SQL么？ > > > > [1] >

Re:flink cdc 读取数据后面可以跟窗口函数吗

Hi, Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。 可以具体描述一下“一直不生效”的现象和SQL么？ [1] https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/table/sql/queries/window-agg/#selecting-group-window-start-and-end-timestamps-1 -- Best！ Xuyang 在 2024-01-17

RocksDB增量模式checkpoint大小持续增长的问题

我有一个Flink任务，使用的是flink1.14.6版本，任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口，任务运行的时候这个算子的状态在不断增大，每天能增大个几百M这种，这个问题怎么排查？使用的事件时间，水位线下发正常，其余的算子都正常，就这个算子在不断增长，非常诡异。在网上搜到一个类似的文章：https://blog.csdn.net/RL_LEEE/article/details/123864487，想尝试下，但不知道manifest大小如何设置，没有找到对应的参数， 请社区指导下，或者有没有别的解决方案？感谢社区！

Re: 退订

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh-unsubscr...@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Best, Jiabao [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists yd c

退订

退订

RE: 实时数仓场景落地问题

Hi, 可以尝试使用 Flink CDC + Apache Paimon 去构建实时数仓。 目前 Paimon 已经支持使用 Flink CDC 将数据整库入湖，可以使用较小的成本进行实时入湖。 另外利用 Paimon partial update的特性，可以以较小的计算成本去构建 ADS 层宽表。 Paimon 也可以同时支持批式计算和流式计算，对于时效性和计算成本可以使用灵活的计算方式做平衡。 Best, Jiabao On 2024/01/14 12:57:29 海风 wrote: >

RE: 退订

Please send email to user-unsubscr...@flink.apache.org if you want to unsubscribe the mail from u...@flink.apache.org , and you can refer [1][2] for more details. 请发送任意内容的邮件到 user-unsubscr...@flink.apache.org

实时数仓场景落地问题

hello，公司里业务会拿一张t+1的离线数仓表名，经常是ads应用层的，问你可不可以做成实时表，大家有碰到这类需求嘛？我的理解现在虽然有实时数仓，或者流批一体这样探索，但是远没有到层级很深的ads层t+1离线表可能以较小的成本去实现实时化。 引申的问题是当前实时数仓已有较大规模的场景落地么？有哪些场景落地呢？落地的效果成本与效果大概是怎么样的呢？

退订

退订

回复：Re:Flink1.16版本java.lang.OutOfMemoryError: Metaspace

@Override public void close() throws Exception { RuntimeContext runtimeContext = getRuntimeContext(); runtimeContext.registerUserCodeClassLoaderReleaseHookIfAbsent("dad", () -> { if (null != connection) { try { connection.close(); } catch (SQLException e) { throw new RuntimeException(e); } }

Re:Flink1.16版本java.lang.OutOfMemoryError: Metaspace

Hi, 你的图挂了，贴一下代码吧。 -- Best！ Xuyang 在 2024-01-12 16:23:13，"Summer_Gu" 写道： 版本号:1.16 部署方式： Standalone Cluster集群部署 问题：通过webUi提交任务后，立马使任务报错，重复提交，会导致Metaspace内存溢出，(红框部分)

Flink1.16版本java.lang.OutOfMemoryError: Metaspace

版本号:1.16 部署方式： Standalone Cluster集群部署 问题：通过webUi提交任务后，立马使任务报错，重复提交，会导致Metaspace内存溢出，(红框部分) 我看见官网有这部分说明：https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/ops/debugging/debugging_classloading/#unloading-of-dynamically-loaded-classes-in-user-code 但是我在代码中填入：

flinksql以时间函数过滤数据场景求助

flink版本1.18 场景如下： A表字段: id,update_time(date格式) 一条数据: 1,2023-01-12 现在我需要保留update_time+1年，大于当前日。 简单地写一个sql： select id,update_time from A where TIMESTAMPADD(YEAR,1,update_time) > CURRENT_DATE; 结果： 在2024年1月11日这一天，where条件达成，这条数据不会被过滤掉； 在2024年1月12日，sql并不会触发计算来过滤掉此条数据。

回复： flink-checkpoint 问题

看现象是这样，谢了，我抽空看下这块源码 | | 吴先生 | | 15951914...@163.com | 回复的原邮件 | 发件人 | Zakelly Lan | | 发送日期 | 2024年1月11日 16:33 | | 收件人 | | | 主题 | Re: flink-checkpoint 问题 | 看了下代码，这个问题有可能的原因是： 1. flink是先创建chk目录，然后再打 Triggering checkpoint 的 log 的，所以有概率是目录创建了，但是log没输出trigger 2.

Re: flink-checkpoint 问题

看了下代码，这个问题有可能的原因是： 1. flink是先创建chk目录，然后再打 Triggering checkpoint 的 log 的，所以有概率是目录创建了，但是log没输出trigger 2. 作业失败，和触发下一个cp，这是两个异步线程，所以有可能是先执行了创建25548目录的操作然后作业再失败，然后trigger 25548还没输出就退了。 版本1.14.5之后代码已经把上述1行为改了，先打log再创建目录，就不会有这样奇怪的问题了。 On Thu, Jan 11, 2024 at 3:03 PM 吴先生 <15951914...@163.com> wrote:

回复： flink-checkpoint 问题

TM日志: 2023-12-31 18:50:11.180 [flink-akka.actor.default-dispatcher-26] INFO org.apache.flink.runtime.taskexecutor.TaskExecutor - Un-registering task and sending final execution state CANCELED to JobManager for task ChargeRangeBroadcastFunction -> Timestamps/Watermarks (4/6)#0

Re:回复： flink-checkpoint 问题

Hi, 你的图挂了，可以用图床处理一下，或者直接贴log。 -- Best！ Xuyang 在 2024-01-11 13:40:43，"吴先生" <15951914...@163.com> 写道： JM中chk失败时间点日志，没有25548的触发记录： 自动recovery失败： TM日志： checkpoint文件路径，25548里面空的： | | 吴先生 | | 15951914...@163.com | 回复的原邮件 | 发件人 | Zakelly Lan | | 发送日期 | 2024年1月10日 18:20

回复： flink-checkpoint 问题

JM中chk失败时间点日志，没有25548的触发记录： 自动recovery失败： TM日志： checkpoint文件路径，25548里面空的： | | 吴先生 | | 15951914...@163.com | 回复的原邮件 | 发件人 | Zakelly Lan | | 发送日期 | 2024年1月10日 18:20 | | 收件人 | | | 主题 | Re: flink-checkpoint 问题 | 你好， 方便的话贴一下jobmanager的log吧，应该有一些线索 On Wed, Jan 10, 2024 at 5:55 PM

Re:flink-checkpoint 问题

我记得flink低版本有这个bug，会错误的删除某一个checkpoint的，你这个版本太老了，可以升级到新版本。 The following is the content of the forwarded email From："吴先生" <15951914...@163.com> To：user-zh Date：2024-01-10 17:54:42 Subject：flink-checkpoint 问题

Re: flink-checkpoint 问题

你好， 方便的话贴一下jobmanager的log吧，应该有一些线索 On Wed, Jan 10, 2024 at 5:55 PM 吴先生 <15951914...@163.com> wrote: > Flink版本： 1.12 > checkpoint配置：hdfs > > 现象：作业由于一些因素第N个checkpoint失败，导致任务重试，任务重试失败，hdfs中不存在第N个chk路径，但是为什么会出现一个第N+1的chk路径，且这个路径下是空的 > >

flink-checkpoint 问题

Flink版本： 1.12 checkpoint配置：hdfs 现象：作业由于一些因素第N个checkpoint失败，导致任务重试，任务重试失败，hdfs中不存在第N个chk路径，但是为什么会出现一个第N+1的chk路径，且这个路径下是空的

Re:Flink1.12读取不同topic， 认证信息不一样

Hi， 按照现在通用的设计应该是不行的。要么用两个comsumer读取后union；要么魔改下comsumer的代码，在真正数据拉取时用不同的aksk去读。 -- Best！ Xuyang 在 2024-01-09 14:49:35，"somebody someone" <1107807...@qq.com.INVALID> 写道： >问题：目前使用Flink版本1.12 >需要接入01和02两个topic,属于同一集群，但是数据方给的两个topic的

Re:flink1.18 regular join 支持两侧流各自配置state ttl

Hi, 文档中“The current TTL value for both left and right side is "0 ms", which means the state retention is not enabled.”，指的其实是并没有开启state ttl的意思，也就是并不会清理state、永久保留state，对应的是public involving api中的StateTTLConfig#UpdateType.Disabled[1]，文档上的表述确实可以更加清晰一些，方便的话可以提一个jira improve一下文档。

Re: flink1.18 regular join 支持两侧流各自配置state ttl

1 *杨勇* Thomas Yang 于2024年1月5日周五 17:17写道： > 本地测试发现 默认生成0ms,实际测试是两侧保留了永久状态,但是官方文档意思是0ms表示两侧都不保存状态. 是不是文档有错误? > https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/concepts/overview/#idle-state-retention-time > > 另外咨询下: 如果0表示永久保留state 那么想不保存state应该使用什么值? > *谢谢!* > > > *杨勇* >

flink1.18 regular join 支持两侧流各自配置state ttl

本地测试发现 默认生成0ms,实际测试是两侧保留了永久状态,但是官方文档意思是0ms表示两侧都不保存状态. 是不是文档有错误? https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/concepts/overview/#idle-state-retention-time 另外咨询下: 如果0表示永久保留state 那么想不保存state应该使用什么值? *谢谢!* *杨勇*

Re:CUMULATE 窗口状态过大导致CK超时

HI Jiaotong： 我的建议如下： 1. 本地存储使用高吞吐的SSD 2. taskmanager.memory.managed.size 增加并且确保rocksdb memtable内存增加，减少rocksdb 刷磁盘的量 3. 如果有物化sink算子，关闭物化sink算子，减小state。 The following is the content of the forwarded email

Re:CUMULATE 窗口状态过大导致CK超时

Hi, 一般来说，业务上如果坚持要使用大state，可以尝试下尽可能的给多并发（让每个并发都持有一部分key的state，摊平大state）和内存（尽可能减少访问落盘的数据，减少IO）来提高性能。 对于你这个case来说，CUMULATE Window TVF在实现层面已经尽可能将小窗口的数据进行merge了[1]。可以dump下来看下具体是哪里的问题，是不是有进一步优化的空间。 [1]

Re:回复: Re: 滑动窗口按照处理时间触发的问题

比如并行度是4，任务执行图是: Source(p=1) ==reblance=> flatMap和Timestamp/watermrk(p=4) =hash=> window(p=4) window的水位线取上游四个算子水位线的最小值, 你需要写4个数据，才能让四个子任务水位线更新，window的水位线才有一次更新 Best regards, haishui 在 2024-01-03 14:25:48，"ha.fen...@aisino.com" 写道： >设置并行度1确实可以了。env.setParallelism(1);

Re:回复: Re: 滑动窗口按照处理时间触发的问题

Hi, 应该是并行度的原因，你可以先将并行度设置为1试试。 Best regards, haishui 在 2024-01-03 12:24:20，"ha.fen...@aisino.com" 写道： >帮我看看代码，感觉是代码的问题，使用滚动窗口问题一样，5分钟的滚动，也是输入1704130441000才触发函数的 >public static void main(String[] args) throws Exception { >StreamExecutionEnvironment env = >

Re:Re: 滑动窗口按照处理时间触发的问题

Hi, 基本思路和Jinsui说的差不多，我怀疑也是watermark没有推进导致窗口没有开窗。具体可以debug一下EventTimeTrigger里的‘onElement’方法和‘onEventTime’方法。 -- Best！ Xuyang 在 2024-01-02 23:31:54，"Jinsui Chen" 写道： >Hi， > >请问是否可以将所有代码贴出来，尤其是水位线相关的。因为事件时间的推进和水位线策略紧密相关。 > >假设这样一种情况，将时间戳作为事件时间，假设你的水位线容错间隔设置为10min，就会出现上述情况，原因如下： >1.

Re: 滑动窗口按照处理时间触发的问题

Hi， 请问是否可以将所有代码贴出来，尤其是水位线相关的。因为事件时间的推进和水位线策略紧密相关。 假设这样一种情况，将时间戳作为事件时间，假设你的水位线容错间隔设置为10min，就会出现上述情况，原因如下： 1. 首先是时间窗口的对齐逻辑。窗口是根据 Epoch 时间（1970-01-01 00:00:00 UTC）来对齐的。例如，如果窗口大小为5分钟，那么窗口的开始时间会是00:00、00:05、00:10等等很整的值，而不是事件时间。这也是为什么你的第一条数据会落在 00:20 - 01:20 这个时间窗口上。 2.

RE: 如何在IDE里面调试flink cdc 3.0作业？

Hi, 可以参考下这篇文档[1]，进行简单的测试。 Best, Jiabao [1] https://docs.google.com/document/d/1L6cJiqYkAsZ_nDa3MgRwV3SKQuw5OrMbqGC4YgzgKR4/edit#heading=h.aybxdd96r62i On 2024/01/02 08:02:10 "casel.chen" wrote: > 我想在Intellij Idea里面调试mysql-to-doris.yaml作业要如何操作呢？flink-cdc-cli模块需要依赖 >

如何在IDE里面调试flink cdc 3.0作业？

我想在Intellij Idea里面调试mysql-to-doris.yaml作业要如何操作呢？flink-cdc-cli模块需要依赖 flink-cdc-pipeline-connector-mysql 和 flink-cdc-pipeline-connector-doris 模块么？

Re: Flink CDC中如何在Snapshot阶段读取数据时进行限流？

Hi, GuavaFlinkConnectorRateLimiter 目前只在 flink-connector-gcp-pubsub[1] 有使用。 Flink CDC 还未支持限流[2]，目前可以尝试降低 snapshot 并发数来缓解数据库压力。 Best, Jiabao [1]

Flink CDC中如何在Snapshot阶段读取数据时进行限流？

业务表存量数据很大，如果不加限流直接使用flink cdc读取snapshot阶段数据的话会造成业务库压力，触发数据库告警，影响在线业务。 请问Flink CDC中如何在Snapshot阶段读取数据时进行限流？ 我看到社区之前有人提议过，但issue一直是open状态 https://issues.apache.org/jira/browse/FLINK-18740 另外，我在flink最新master分支源码中有找到 GuavaFlinkConnectorRateLimiter，但没有找到调用它的例子，请问如何在flink作业中使用限流呢？

Re: FileSystem Connector如何优雅的支持同时写入多个路径

从同一个source里select，在flink sql中用statement set 执行两条insert语句到不同的sink表即可 Jiabao Sun 于2023年12月29日周五 16:55写道： > Hi, > > 使用 SQL 的话不太好实现写入多个路径， > 使用 DataStream 的话可以考虑自己实现一个 RichSinkFunction。 > > Best, > Jiabao > > On 2023/12/29 08:37:34 jinzhuguang wrote: > > Flink版本：1.16.0 > > > > 看官网上的案例： > > CREATE

RE: FileSystem Connector如何优雅的支持同时写入多个路径

Hi, 使用 SQL 的话不太好实现写入多个路径， 使用 DataStream 的话可以考虑自己实现一个 RichSinkFunction。 Best, Jiabao On 2023/12/29 08:37:34 jinzhuguang wrote: > Flink版本：1.16.0 > > 看官网上的案例： > CREATE TABLE MyUserTable ( > column_name1 INT, > column_name2 STRING, > ... > part_name1 INT, > part_name2 STRING > )

FileSystem Connector如何优雅的支持同时写入多个路径

Flink版本：1.16.0 看官网上的案例： CREATE TABLE MyUserTable ( column_name1 INT, column_name2 STRING, ... part_name1 INT, part_name2 STRING ) PARTITIONED BY (part_name1, part_name2) WITH ( 'connector' = 'filesystem', -- 必选：指定连接器类型 'path' = 'file:///path/to/whatever', -- 必选：指定路径

RE: Flink SQL Windowing TVFs

Hi, 在 1.14.0 版本中，CUMULATE 函数是需要用在GROUP BY聚合场景下的[1]。 部署到生产的 SQL 是否包含了 GROUP BY 表达式？ 本地测试的Flink版本是不是1.14.0? Best, Jiabao [1] https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/table/sql/queries/window-tvf/#cumulate On 2023/12/29 04:57:09 "jiaot...@mail.jj.cn" wrote: > Hi，

Re: flink cdc 3.0 schema evolution原理是怎样的？

Hi, 是的，目前来说会 block 住。 flush + apply schema change 一般来说不会持续太长时间， 且 schema 变更一般来说是低频事件，即使 block 也不会有太大性能影响。 Best, Jiabao > 2023年12月28日 12:57，casel.chen 写道： > > > > > 感谢解惑！ > 还有一个问题：如果一个 pipeline 涉及多张表数据同步，而只有一个表出现 schema 变更的话，其他表的数据处理也会 block 住吗？ > > > > > > > > > 在 2023-12-28

Re:Re: flink cdc 3.0 schema evolution原理是怎样的？

感谢解惑！ 还有一个问题：如果一个 pipeline 涉及多张表数据同步，而只有一个表出现 schema 变更的话，其他表的数据处理也会 block 住吗？ 在 2023-12-28 01:16:40，"Jiabao Sun" 写道： >Hi, > >> 为什么最后output.collect(new StreamRecord<>(schemaChangeEvent)); >> 还要发送一次SchemaChangeEvent呢？ > >Sink 也会收到 SchemaChangeEvent，因为 Sink 可能需要根据 Schema 变更的情况来调整

Re: flink cdc 3.0 schema evolution原理是怎样的？

Hi, > 为什么最后output.collect(new StreamRecord<>(schemaChangeEvent)); > 还要发送一次SchemaChangeEvent呢？ Sink 也会收到 SchemaChangeEvent，因为 Sink 可能需要根据 Schema 变更的情况来调整 serializer 或 writer，参考 DorisEventSerializer > 最后一行requestReleaseUpstream()执行被block的原因是什么？是如何hold upstream然后再release > upstream的呢？ 被 block

flink cdc 3.0 schema evolution原理是怎样的？

看了infoq介绍flink cdc 3.0文章 https://xie.infoq.cn/article/a80608df71c5291186153600b，我对其中schema. evolution设计原理想不明白，框架是如何做到schema change顺序性的。文章介绍得并不详细。 从mysql binlog产生changeEvent来看，所有的变更都是时间线性的，例如s1, d1, d2, s2, d3, d4, d5, s3, d6 其中d代表数据变更，s代表schema变更 这意味着d1,d2使用的是s1 schema，而d3~d5用的是s2

Re:Re:RE: lock up表过滤条件下推导致的bug

Hi, 可以贴一下flink的版本么？如果方便的话，也可以贴一下plan和最小可复现数据集。 -- Best！ Xuyang 在 2023-12-26 09:25:30，"杨光跃" 写道： > > > > > > >CompiledPlan plan = env.compilePlanSql("insert into out_console " + >" select r.apply_id from t_purch_apply_sent_route r " + >" left join t_purch_apply_sent_route_goods

Re: RE: lock up表过滤条件下推导致的bug

这个问题应该是跟 FLINK-33365[1] 中说的是同一个问题，这个已经在修复中了，在最新的 JDBC Connector 版本中会修复它。 [1] https://issues.apache.org/jira/browse/FLINK-33365 杨光跃 于2023年12月26日周二 09:25写道： > > > > > > > > CompiledPlan plan = env.compilePlanSql("insert into out_console " + > " select r.apply_id from t_purch_apply_sent_route r "

Re:RE: lock up表过滤条件下推导致的bug

CompiledPlan plan = env.compilePlanSql("insert into out_console " + " select r.apply_id from t_purch_apply_sent_route r " + " left join t_purch_apply_sent_route_goods FOR SYSTEM_TIME AS OF r.pt as t " + "ON t.apply_id = r.apply_id and t.isdel = r.isdel" + " where r.apply_id = 61558439941351

RE: lock up表过滤条件下推导致的bug

Hi, 邮件中的图片没显示出来，麻烦把 SQL 贴出来一下。 Best, Jiabao On 2023/12/25 12:22:41 杨光跃 wrote: > 我的sql如下： > 、 > > > t_purch_apply_sent_route 是通过flink cdc创建的 > t_purch_apply_sent_route_goods 是普通的jdbc > 我期望的结果是返回符合过滤条件的；但现在执行的结果，会返回t_purch_apply_sent_route表所有数据 > 这显然不符合我的预期，原因应该是因为过滤条件进行了过早的下推 >

lock up表过滤条件下推导致的bug

我的sql如下： 、 t_purch_apply_sent_route 是通过flink cdc创建的 t_purch_apply_sent_route_goods 是普通的jdbc 我期望的结果是返回符合过滤条件的；但现在执行的结果，会返回t_purch_apply_sent_route表所有数据 这显然不符合我的预期，原因应该是因为过滤条件进行了过早的下推 这应该算是bug吧，或者要满足我的预期，该怎么写sql?

Re: Re: 退订

退订 李国辉 于2023年11月22日周三 22:28写道： > > 退订 > > > > > -- > 发自我的网易邮箱手机智能版 > > > > - Original Message - > From: "Junrui Lee" > To: user-zh@flink.apache.org > Sent: Wed, 22 Nov 2023 10:19:32 +0800 > Subject: Re: 退订 > > Hi, > > 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 > > Best,

Re: Re: Flink CDC MySqlSplitReader问题

Hi， 我记得这段逻辑是为了保证在新增表后，binlog 读取能和新增表的快照读取一起进行，保证binlog读取不会中断。 这里应该是会先读binlog，然后再读snapshot，再是binlog。这样的切换，来保证binlog 能一直有数据读出来。 Best， Hang casel.chen 于2023年12月22日周五 10:44写道： > 那意思是会优先处理已经在增量阶段的表，再处理新增快照阶段的表？顺序反过来的话会有什么影响？如果新增表全量数据比较多会导致其他表增量处理变慢是么？ > > > > > > > > > > > > > > > > > > 在

Re:Re: Flink CDC MySqlSplitReader问题

那意思是会优先处理已经在增量阶段的表，再处理新增快照阶段的表？顺序反过来的话会有什么影响？如果新增表全量数据比较多会导致其他表增量处理变慢是么？ 在 2023-12-20 21:40:05，"Hang Ruan" 写道： >Hi，casel > >这段逻辑应该只有在处理到新增表的时候才会用到。 >CDC 读取数据正常是会在所有SnapshotSplit读取完成后，才会下发BinlogSplit。 >但是如果是在增量阶段重启作业，同时新增加了一些表，就会出现同时有BinlogSplit和SnapshotSplit的情况，此时才会走到这段逻辑。 >

Re: 退订

你好, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件 Best, Junrui jimandlice 于2023年12月21日周四 17:43写道： > 退订 > | | > jimandlice > | > | > 邮箱：jimandl...@163.com > |

RE: Re:Flink脏数据处理

Hi, 需要精准控制异常数据的话，就不太推荐flink sql了。 考虑使用DataStream将异常数据用侧流输出[1]，再做补偿。 Best, Jiabao [1] https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/datastream/side_output/ On 2023/12/06 08:45:20 Xuyang wrote: > Hi, > 目前flink sql主动收集脏数据的行为。有下面两种可行的办法： > 1.

RE: Re:Re:flink sql支持批量lookup join

Hi, casel. 使用三次lookup join是可以实现的，加上缓存，性能应该不差。 WITH users AS ( SELECT * FROM (VALUES(1, 'zhangsan'), (2, 'lisi'), (3, 'wangwu')) T (id, name) ) SELECT orders.id, u1.name as creator_name, u2.name as approver_name, u3.name as deployer_name FROM ( SELECT *

退订

退订 | | jimandlice | | 邮箱：jimandl...@163.com |

退订

退订 | | jimandlice | | 邮箱：jimandl...@163.com |

Re: Flink CDC MySqlSplitReader问题

Hi，casel 这段逻辑应该只有在处理到新增表的时候才会用到。 CDC 读取数据正常是会在所有SnapshotSplit读取完成后，才会下发BinlogSplit。 但是如果是在增量阶段重启作业，同时新增加了一些表，就会出现同时有BinlogSplit和SnapshotSplit的情况，此时才会走到这段逻辑。 Best， Hang key lou 于2023年12月20日周三 16:24写道： > 意思是当 有 binlog 就意味着 已经读完了 snapshot > > casel.chen 于2023年12月19日周二 16:45写道： > > >

需要帮助：在使用AsyncLookupFunction时如果asyncLookup抛出异常，则会遇到了SerializedThrowable 的StackOverflowError

简单示例： public class TableA implements LookupTableSource { @Nullable private final LookupCache cache; public TableA(@Nullable LookupCache cache) { this.cache = cache; } @Override public LookupRuntimeProvider getLookupRuntimeProvider(LookupContext context) {

Re: Flink CDC MySqlSplitReader问题

意思是当 有 binlog 就意味着 已经读完了 snapshot casel.chen 于2023年12月19日周二 16:45写道： > 我在阅读flink-connector-mysql-cdc项目源码过程中遇到一个不清楚的地方，还请大佬指点，谢谢！ > > > MySqlSplitReader类有一段代码如下，注释“(1) Reads binlog split firstly and then read > snapshot split”这一句话我不理解。 > 为什么要先读binlog split再读snapshot

Re: [DISCUSS] Change the default restart-strategy to exponential-delay

Thanks everyone for the feedback! It doesn't have more feedback here, so I started the new vote[1] just now to update the default value of backoff-multiplier from 1.2 to 1.5. [1] https://lists.apache.org/thread/0b1dcwb49owpm6v1j8rhrg9h0fvs5nkt Best, Rui On Tue, Dec 12, 2023 at 7:14 PM

Flink CDC MySqlSplitReader问题

我在阅读flink-connector-mysql-cdc项目源码过程中遇到一个不清楚的地方，还请大佬指点，谢谢！ MySqlSplitReader类有一段代码如下，注释“(1) Reads binlog split firstly and then read snapshot split”这一句话我不理解。 为什么要先读binlog split再读snapshot split？为保证记录的时序性，不是应该先读全量的snapshot split再读增量的binlog split么？ private MySqlRecords pollSplitRecords() throws

Re: 退订

Please send email to user-unsubscr...@flink.apache.org if you want to unsubscribe the mail from u...@flink.apache.org, and you can refer [1][2] for more details. 请发送任意内容的邮件到 user-unsubscr...@flink.apache.org 地址来取消订阅来自 u...@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1]

RE: flink1.15-flink1.18官方提供写入Elasticsearch的接口报序列化异常

Hi, createIndexRequest是否不是静态的，scala的话可以在object中声明该方法。 Lambda中访问非静态方法，并且外部类不是可序列化的，可能会导致lambda无法被序列化。 Best, Jiabao On 2023/12/12 07:53:53 李世钰 wrote: > val result: ElasticsearchSink[String] = new Elasticsearch7SinkBuilder[String] > // This instructs the sink to emit after every element,

退订

退订

Re:关于文档中基于Table API 实现实时报表的问题

Hi, 你可以试一下用TO_TIMESTAMP(FROM_UNIXTIME(transaction_time)) 将long转为timestamp -- Best！ Xuyang 在 2023-12-13 15:36:50，"ha.fen...@aisino.com" 写道： >文档中数据来源于kafka >tEnv.executeSql("CREATE TABLE transactions (\n" + >"account_id BIGINT,\n" + >"amount BIGINT,\n" +

<    1   2   3   4   5   6   7   8   9   10   >