Re: Flink sql retract to append

以处理时间为升序，处理结果肯定不会出现回撤的，因为往后的时间不会比当前时间小了，你可以在试试这个去重 On Tue, Apr 30, 2024 at 3:35 PM 焦童 wrote: > 谢谢你的建议 但是top-1也会产生回撤信息 > > > 2024年4月30日 15:27，ha.fen...@aisino.com 写道： > > > > 可以参考这个 > > > https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/dev/table/sql/queries/deduplication/ > >

Re:Re: 在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

您好，根据您的指点，配置之后，重启了StandaloneSessionClusterEntrypoint和TaskManagerrunner，这个问题解决了，谢谢您 在 2024-04-30 15:45:18，"Biao Geng" 写道： >Hi, > >这个报错一般是JDK版本不一致导致的。建议统一build flink和执行flink作业时的Java版本，（都用JDK8 或者 都用JDK11）。 >用JDK11时没有sun.misc的问题可以试试勾选掉Idea的Settings-> Build, Execution and Deployment

Re:Re: 在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

您好，按照您的指点，现在运行和编译都用的jdk11，已经没有sun.misc的报错了，但是提交job 还是报相同的错误 D:\software\jdk-11.0.7\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:11039,suspend=y,server=n -Dlog.file=./log/flink-client.log -Dlog4j.configuration=./conf/log4j-cli.properties

Re: 在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

Hi, 这个报错一般是JDK版本不一致导致的。建议统一build flink和执行flink作业时的Java版本，（都用JDK8 或者 都用JDK11）。 用JDK11时没有sun.misc的问题可以试试勾选掉Idea的Settings-> Build, Execution and Deployment -> Compiler-> Java Compiler的Use '--release' option for cross-compilation' 选项。 Best, Biao Geng z_mmG <13520871...@163.com> 于2024年4月30日周二

Re: Flink sql retract to append

谢谢你的建议 但是top-1也会产生回撤信息 > 2024年4月30日 15:27，ha.fen...@aisino.com 写道： > > 可以参考这个 > https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/dev/table/sql/queries/deduplication/ > 1.11版本不知道是不是支持 > > From: 焦童 > Date: 2024-04-30 11:25 > To: user-zh > Subject: Flink sql retract to append

在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

JDK11 编译的flink1.19的源码 因为他说没有sun.misc，所以启动用的jdk8 已连接到地址为 ''127.0.0.1:8339'，传输: '套接字'' 的目标虚拟机 Job has been submitted with JobID 0975ec264edfd11d236dd190e7708d70 The program finished with the following exception:

Flink sql retract to append

Hello , 我使用Flink 1.11 版本 sql 进行数据去重（通过 group by 形式）但是这会产生回撤流，下游存储不支持回撤流信息仅支持append，在DataStream 中我可以通过状态进行去重，但是在sql中如何做到去重且不产生回撤流呢。谢谢各位

Re:Flink 截止到1.18，是否有办法在Table API上添加uid？

Hi, 如果在中间添加了op，或者修改了处理逻辑，那么代表拓扑图会变，那么基于拓扑序所确定的uid也会变，从状态恢复就可能失败。具体可以参考[1] 目前table api应该是没有开放自定义uid的能力，可以在jira[2]上新建一个feature的jira，然后在dev邮件里发起讨论下。 [1]

Flink 截止到1.18，是否有办法在Table API上添加uid？

Hi Team， 我们这边的业务使用 Flink MySQL CDC到 OpenSearch并且使用TABLE API： INSERT INTO t1 SELECT * FROM t2 这种方式。 由于我们这边可能会在运行过程中添加额外的Operator，我们有办法在使用snapshot 恢复后保留之前src和sink operator的状态么？我看到在DataStream API可以通过设定uid。Table API有同样的方法吗？我看到Flink jira：https://issues.apache.org/jira/browse/FLINK-28861

Re:处理时间的滚动窗口提前触发

Hi, 我看你使用了System.currentTimeMillis()，有可能是分布式的情况下，多台TM上的机器时间不一致导致的吗？ -- Best！ Xuyang 在 2024-04-20 19:04:14，"hhq" <424028...@qq.com.INVALID> 写道： >我使用了一个基于处理时间的滚动窗口，窗口大小设置为60s，但是我在窗口的处理函数中比较窗口的结束时间和系统时间，偶尔会发现获取到的系统时间早于窗口结束时间（这里的提前量不大，只有几毫秒，但是我不清楚，这是flink窗口本身的原因还是我代码的问题）我没有找到原因，请求帮助

申请退订邮件

退订 > 下面是被转发的邮件： > > 发件人: Biao Geng > 主题: 回复：申请退订邮件申请，谢谢 > 日期: 2024年4月2日 GMT+8 10:17:20 > 收件人: user-zh@flink.apache.org > 回复－收件人: user-zh@flink.apache.org > > Hi， > > 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org > . > > > Best, > Biao Geng > > 于2024年3月31日周日 22:20写道： > >>

处理时间的滚动窗口提前触发

我使用了一个基于处理时间的滚动窗口，窗口大小设置为60s，但是我在窗口的处理函数中比较窗口的结束时间和系统时间，偶尔会发现获取到的系统时间早于窗口结束时间（这里的提前量不大，只有几毫秒，但是我不清楚，这是flink窗口本身的原因还是我代码的问题）我没有找到原因，请求帮助 public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

退订

| | 冮雪程 | | gxc_bigd...@163.com | 回复的原邮件 | 发件人 | jh...@163.com | | 发送日期 | 2024年04月18日 16:17 | | 收件人 | user-zh | | 主题 | Re: 回复：退订 | 退订 jh...@163.com 发件人： 我的意中人是个盖世英雄 发送时间： 2024-04-18 16:03 收件人： user-zh 主题： 回复：退订 退订 ---原始邮件--- 发件人: "willluzheng"

Re: Flink流批一体应用在实时数仓数据核对场景下有哪些注意事项？

流模式和批模式在watermark和一些算子语义等方面上有一些不同，但没看到Join和Window算子上有什么差异，这方面应该在batch mode下应该是支持的。具体的两种模式的比较可以看一下这个文档 https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/datastream/execution_mode/ On Thu, Apr 18, 2024 at 9:44 AM casel.chen wrote: > > 有人尝试这么实践过么？可以给一些建议么？谢谢！ > > > > > > > > > > > >

Re:Flink流批一体应用在实时数仓数据核对场景下有哪些注意事项？

有人尝试这么实践过么？可以给一些建议么？谢谢！ 在 2024-04-15 11:15:34，"casel.chen" 写道： >我最近在调研Flink实时数仓数据质量保障，需要定期（每10/20/30分钟）跑批核对实时数仓产生的数据，传统方式是通过spark作业跑批，如Apache >DolphinScheduler的数据质量模块。 >但这种方式的最大缺点是需要使用spark sql重写flink >sql业务逻辑，难以确保二者一致性。所以我在考虑能否使用Flink流批一体特性，复用flink

Flink流批一体应用在实时数仓数据核对场景下有哪些注意事项？

我最近在调研Flink实时数仓数据质量保障，需要定期（每10/20/30分钟）跑批核对实时数仓产生的数据，传统方式是通过spark作业跑批，如Apache DolphinScheduler的数据质量模块。 但这种方式的最大缺点是需要使用spark sql重写flink sql业务逻辑，难以确保二者一致性。所以我在考虑能否使用Flink流批一体特性，复用flink sql，只需要将数据源从cdc或kafka换成hologres或starrocks表，再新建跑批结果表，最后只需要比较相同时间段内实时结果表和跑批结果表的数据即可。不过有几点疑问： 1. 原实时flink

回复：退订

退订 回复的原邮件 | 发件人 | jimandlice | | 发送日期 | 2024年04月13日 19:50 | | 收件人 | user-zh | | 主题 | 退订 | 退订 jimandlice jimandl...@163.com

退订

退订 jimandlice jimandl...@163.com

Re: ProcessWindowFunction中使用per-window state

你好， 可以通过使用 globalState / windowState 获取之前的状态进行增量计算。 下面这个 demo 可以方便理解： public class ProcessWindowFunctionDemo { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 使用处理时间

Re:Unable to use Table API in AWS Managed Flink 1.18

Hi, Perez. Flink use SPI to find the jdbc connector in the classloader and when starting, the dir '${FLINK_ROOT}/lib' will be added into the classpath. That is why in AWS the exception throws. IMO there are two ways to solve this question. 1. upload the connector jar to AWS to let the

Unable to use Table API in AWS Managed Flink 1.18

Hi all, I am using AWS Managed Flink 1.18, where I am getting this error when trying to submit my job: ``` Caused by: org.apache.flink.table.api.ValidationException: Cannot discover a connector using option: 'connector'='jdbc' at

Re: flink 已完成job等一段时间会消失

你好： 如果想长期保留已完成的任务，推荐使用 History Server : https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#history-server Best, Zhongqiang Gong ha.fen...@aisino.com 于2024年4月9日周二 10:39写道： > 在WEBUI里面，已完成的任务会在completed jobs里面能够看到，过了一会再进去看数据就没有了，是有什么配置自动删除吗？ >

Re: Re: 采集mysql全量的时候出现oom问题

可以尝试的解决办法： - 调大 JM 内存 （如 Shawn Huang 所说） - 调整快照期间批读的大小，以降低 state 大小从而减轻 checkpiont 过程中 JM 内存压力 Best, Zhongqiang Gong wyk 于2024年4月9日周二 16:56写道： > > 是的,分片比较大,有一万七千多个分片 > >

Re:Re: 采集mysql全量的时候出现oom问题

是的,分片比较大,有一万七千多个分片 jm内存目前是2g,我调整到4g之后还是会有这么问题,我在想如果我一直调整jm内存,后面增量的时候内存会有所浪费,在flink官网上找到了flink堆内存的相关参数,但是对这个不太了解,不知道具体该怎么调试合适,麻烦帮忙看一下如下图这些参数调整那个合适呢? flink官网地址为: https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/memory/mem_setup_jobmanager/ | Component |

Re: 采集mysql全量的时候出现oom问题

从报错信息看，是由于JM的堆内存不够，可以尝试把JM内存调大，一种可能的原因是mysql表全量阶段分片较多，导致SourceEnumerator状态较大。 Best, Shawn Huang wyk 于2024年4月8日周一 17:46写道： > > > 开发者们好: > flink版本1.14.5 > flink-cdc版本 2.2.0 > > 在使用flink-cdc-mysql采集全量的时候,全量阶段会做checkpoint,但是checkpoint的时候会出现oom问题,这个有什么办法吗? >

回复：flink 已完成job等一段时间会消失

有一个过期时间的配置 https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#jobstore-expiration-time | | spoon_lz | | spoon...@126.com | 回复的原邮件 | 发件人 | ha.fen...@aisino.com | | 发送日期 | 2024年04月9日 10:38 | | 收件人 | user-zh | | 主题 | flink 已完成job等一段时间会消失 |

Re: flink cdc metrics 问题

你好，目前flink cdc没有提供未消费binlog数据条数这样的指标，你可以通过 currentFetchEventTimeLag 这个指标（表示消费到的binlog数据中时间与当前时间延迟）来判断当前消费情况。 [1]

flink cdc metrics 问题

请问flink cdc对外有暴露一些监控metrics么？ 我希望能够监控到使用flink cdc的实时作业当前未消费的binlog数据条数，类似于kafka topic消费积压监控。 想通过这个监控防止flink cdc实时作业消费慢而被套圈（最大binlog条数如何获取？）

Re: 退订

Hi， If you want to unsubscribe to user-zh mailing list, please send an email with any content to user-zh-unsubscr...@flink.apache.org . 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 995626544 <995626...@qq.com.invalid> 于2024年4月7日周日 16:06写道： > 退订 > > > > > 995626544 >

Re: HBase SQL连接器为啥不支持ARRAY/MAP/ROW类型

应该是由于这些复杂集合在HBase中没有一个直接与之对应的数据类型，所以Flink SQL没有直接支持的。 一种思路是把这些数据类型按照某种格式（比如json）转换成字符串/序列化成byte array，把字符串存到HBase中，读取出来的时候也再解析/反序列化。 On Mon, Apr 1, 2024 at 7:38 PM 王广邦 wrote: > > HBase SQL 连接器（flink-connector-hbase_2.11） 为啥不支持数据类型：ARRAY、MAP / MULTISET、ROW > 不支持？ >

Re: 配置hadoop依赖问题

Hi fengqi, “Hadoop is not in the classpath/dependencies.”报错说明org.apache.hadoop.conf.Configuration和org.apache.hadoop.fs.FileSystem这些hdfs所需的类没有找到。 如果你的系统环境中有hadoop的话，通常是用这种方式来设置classpath： export HADOOP_CLASSPATH=`hadoop classpath`

Re: 退订

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng CloudFunny 于2024年3月31日周日 22:25写道： > >

Re: 退订

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 戴少 于2024年4月1日周一 11:09写道： > 退订 > > -- > > Best Regards, > > > > > 回复的原邮件 > | 发件人 | wangfengyang | > | 发送日期 | 2024年03月22日 17:28 | > | 收件人 | user-zh | > | 主题 | 退订 | > 退订

Re: 退订

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 杨东树 于2024年3月31日周日 20:23写道： > 申请退订邮件通知，谢谢！

Re: 申请退订邮件申请，谢谢

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 于2024年3月31日周日 22:20写道： > 申请退订邮件申请，谢谢

退订

退订

Re: 回复：退订

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。 [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 Best, Zhanghao Chen From: 戴少 Sent: Monday, April 1, 2024 11:10 To: user-zh Cc:

Re: 退订

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。 [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 Best, Zhanghao Chen From: zjw Sent: Monday, April 1, 2024 11:05 To: user-zh@flink.apache.org Subject: 退订

Re: Re:Re: Re: 1.19自定义数据源

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。 [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 Best, Zhanghao Chen From: 熊柱 <18428358...@163.com> Sent: Monday, April 1, 2024 11:14 To:

Re:Re: Re: 1.19自定义数据源

退订 在 2024-03-28 19:56:06，"Zhanghao Chen" 写道： >如果是用的 DataStream API 的话，也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。 > > >[1] >https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/datagen/ > >Best, >Zhanghao Chen

回复：退订

退订 -- Best Regards, 回复的原邮件 | 发件人 | 李一飞 | | 发送日期 | 2024年03月14日 00:09 | | 收件人 | user-zh-sc.1618840368.ibekedaekejgeemingfn-kurisu_li=163.com, user-zh-subscribe , user-zh | | 主题 | 退订 | 退订

??????????

-- Best Regards, | ?? | wangfengyang | | | 2024??03??22?? 17:28 | | ?? | user-zh | | | |

退订

退订

申请退订邮件申请，谢谢

申请退订邮件申请，谢谢

退订

申请退订邮件通知，谢谢！

Re: Re: 1.19自定义数据源

如果是用的 DataStream API 的话，也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/datagen/ Best, Zhanghao Chen From: ha.fen...@aisino.com Sent: Thursday, March 28, 2024 15:34 To:

Re: Re: 1.19自定义数据源

你好，关于如何实现source接口可以参考以下资料： [1] FLIP-27: Refactor Source Interface - Apache Flink - Apache Software Foundation [2] 如何高效接入 Flink：Connecter / Catalog API 核心设计与社区进展 (qq.com)

Re: 1.19自定义数据源

你好： 当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink 版本考虑，可以将这些SourceFunction用Source重新实现。 ha.fen...@aisino.com 于2024年3月28日周四 14:18写道： > > 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？ >

Re: [ANNOUNCE] Apache Flink Kubernetes Operator 1.8.0 released

Congratulations! Thanks Max for the release and all involved for the great work! A gentle reminder to users: the maven artifact has just been released and will take some time to complete. Best, Rui On Mon, Mar 25, 2024 at 6:35 PM Maximilian Michels wrote: > The Apache Flink community is very

[ANNOUNCE] Apache Flink Kubernetes Operator 1.8.0 released

The Apache Flink community is very happy to announce the release of the Apache Flink Kubernetes Operator version 1.8.0. The Flink Kubernetes Operator allows users to manage their Apache Flink applications on Kubernetes through all aspects of their lifecycle. Release highlights: - Flink

Re: 退订

Hi, scott 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Best, Zhongqiang Gong [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists 己巳 于

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congrattulations! Thanks for the great work! Best, Zhongqiang Gong Leonard Xu 于2024年3月20日周三 21:36写道： > Hi devs and users, > > We are thrilled to announce that the donation of Flink CDC as a > sub-project of Apache Flink has completed. We invite you to explore the new > resources available: >

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Best, Zakelly On Thu, Mar 21, 2024 at 12:05 PM weijie guo wrote: > Congratulations! Well done. > > > Best regards, > > Weijie > > > Feng Jin 于2024年3月21日周四 11:40写道： > >> Congratulations! >> >> >> Best, >> Feng >> >> >> On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: >> >> >

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Well done. Best regards, Weijie Feng Jin 于2024年3月21日周四 11:40写道： > Congratulations! > > > Best, > Feng > > > On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: > > > Congratulations! > > > > Best, > > Ron > > > > Jark Wu 于2024年3月21日周四 10:46写道： > > > > > Congratulations and

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Best, Feng On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: > Congratulations! > > Best, > Ron > > Jark Wu 于2024年3月21日周四 10:46写道： > > > Congratulations and welcome! > > > > Best, > > Jark > > > > On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote: > > > > >

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Best, Ron Jark Wu 于2024年3月21日周四 10:46写道： > Congratulations and welcome! > > Best, > Jark > > On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote: > > > Congratulations! > > > > Best, > > Rui > > > > On Thu, Mar 21, 2024 at 10:25 AM Hang Ruan > wrote: > > > > >

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Best! Xushuai > 2024年3月21日 10:54，Yanquan Lv 写道： > > Congratulations and Looking forward to future versions！ > > Jark Wu 于2024年3月21日周四 10:47写道： > >> Congratulations and welcome! >> >> Best, >> Jark >> >> On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote:

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations and Looking forward to future versions！ Jark Wu 于2024年3月21日周四 10:47写道： > Congratulations and welcome! > > Best, > Jark > > On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote: > > > Congratulations! > > > > Best, > > Rui > > > > On Thu, Mar 21, 2024 at 10:25 AM

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations and welcome! Best, Jark On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote: > Congratulations! > > Best, > Rui > > On Thu, Mar 21, 2024 at 10:25 AM Hang Ruan wrote: > > > Congrattulations! > > > > Best, > > Hang > > > > Lincoln Lee 于2024年3月21日周四 09:54写道： > > >

Re:Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Cheers! -- Best！ Xuyang 在 2024-03-21 10:28:45，"Rui Fan" <1996fan...@gmail.com> 写道： >Congratulations! > >Best, >Rui > >On Thu, Mar 21, 2024 at 10:25 AM Hang Ruan wrote: > >> Congrattulations! >> >> Best, >> Hang >> >> Lincoln Lee 于2024年3月21日周四 09:54写道： >> >>> >>> Congrats, thanks

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Best, Rui On Thu, Mar 21, 2024 at 10:25 AM Hang Ruan wrote: > Congrattulations! > > Best, > Hang > > Lincoln Lee 于2024年3月21日周四 09:54写道： > >> >> Congrats, thanks for the great work! >> >> >> Best, >> Lincoln Lee >> >> >> Peter Huang 于2024年3月20日周三 22:48写道： >> >>>

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congrattulations! Best, Hang Lincoln Lee 于2024年3月21日周四 09:54写道： > > Congrats, thanks for the great work! > > > Best, > Lincoln Lee > > > Peter Huang 于2024年3月20日周三 22:48写道： > >> Congratulations >> >> >> Best Regards >> Peter Huang >> >> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang wrote: >>

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congrats, thanks for the great work! Best, Lincoln Lee Peter Huang 于2024年3月20日周三 22:48写道： > Congratulations > > > Best Regards > Peter Huang > > On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang wrote: > >> >> Congratulations >> >> >> >> Best, >> Huajie Wang >> >> >> >> Leonard Xu 于2024年3月20日周三

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations Best, Huajie Wang Leonard Xu 于2024年3月20日周三 21:36写道： > Hi devs and users, > > We are thrilled to announce that the donation of Flink CDC as a > sub-project of Apache Flink has completed. We invite you to explore the new > resources available: > > - GitHub Repository:

[ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Hi devs and users, We are thrilled to announce that the donation of Flink CDC as a sub-project of Apache Flink has completed. We invite you to explore the new resources available: - GitHub Repository: https://github.com/apache/flink-cdc - Flink CDC Documentation:

Re: flink operator 高可用任务偶发性报错unable to update ConfigMapLock

这种一般是因为APIServer那边有问题导致单次的ConfigMap renew lease annotation的操作失败，Flink默认会重试的 如果你发现因为这个SocketTimeoutException原因导致了任务Failover，可以把下面两个参数调大 high-availability.kubernetes.leader-election.lease-duration: 60s high-availability.kubernetes.leader-election.renew-deadline: 60s Best, Yang On Tue, Mar 12,

退订

退订

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congrats and thanks all for the efforts! Best Regards, Yu On Tue, 19 Mar 2024 at 11:51, gongzhongqiang wrote: > > Congrats! Thanks to everyone involved! > > Best, > Zhongqiang Gong > > Lincoln Lee 于2024年3月18日周一 16:27写道： >> >> The Apache Flink community is very happy to announce the release of

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congrats! Thanks to everyone involved! Best, Zhongqiang Gong Lincoln Lee 于2024年3月18日周一 16:27写道： > The Apache Flink community is very happy to announce the release of Apache > Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series. > > Apache Flink® is an open-source stream

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations Best, Weihua On Tue, Mar 19, 2024 at 10:56 AM Rodrigo Meneses wrote: > Congratulations > > On Mon, Mar 18, 2024 at 7:43 PM Yu Chen wrote: > > > Congratulations! > > Thanks to release managers and everyone involved! > > > > Best, > > Yu Chen > > > > > > > 2024年3月19日

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations! Thanks to release managers and everyone involved! Best, Yu Chen > 2024年3月19日 01:01，Jeyhun Karimov 写道： > > Congrats! > Thanks to release managers and everyone involved. > > Regards, > Jeyhun > > On Mon, Mar 18, 2024 at 9:25 AM Lincoln Lee wrote: > >> The Apache Flink

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations Best, Ron Yanfei Lei 于2024年3月18日周一 20:01写道： > Congrats, thanks for the great work! > > Sergey Nuyanzin 于2024年3月18日周一 19:30写道： > > > > Congratulations, thanks release managers and everyone involved for the > great work! > > > > On Mon, Mar 18, 2024 at 12:15 PM Benchao Li >

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congrats, thanks for the great work! Sergey Nuyanzin 于2024年3月18日周一 19:30写道： > > Congratulations, thanks release managers and everyone involved for the great > work! > > On Mon, Mar 18, 2024 at 12:15 PM Benchao Li wrote: >> >> Congratulations! And thanks to all release managers and everyone >>

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations, thanks release managers and everyone involved for the great work! On Mon, Mar 18, 2024 at 12:15 PM Benchao Li wrote: > Congratulations! And thanks to all release managers and everyone > involved in this release! > > Yubin Li 于2024年3月18日周一 18:11写道： > > > > Congratulations! > >

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations! And thanks to all release managers and everyone involved in this release! Yubin Li 于2024年3月18日周一 18:11写道： > > Congratulations! > > Thanks to release managers and everyone involved. > > On Mon, Mar 18, 2024 at 5:55 PM Hangxiang Yu wrote: > > > > Congratulations! > > Thanks

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations! Thanks to release managers and everyone involved. On Mon, Mar 18, 2024 at 5:55 PM Hangxiang Yu wrote: > > Congratulations! > Thanks release managers and all involved! > > On Mon, Mar 18, 2024 at 5:23 PM Hang Ruan wrote: > > > Congratulations! > > > > Best, > > Hang > > > >

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations! Thanks Lincoln, Yun, Martijn and Jing for driving this release. Thanks everyone involved. Best, Zakelly On Mon, Mar 18, 2024 at 5:05 PM weijie guo wrote: > Congratulations! > > Thanks release managers and all the contributors involved. > > Best regards, > > Weijie > > >

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations! Thanks release managers and all the contributors involved. Best regards, Weijie Leonard Xu 于2024年3月18日周一 16:45写道： > Congratulations, thanks release managers and all involved for the great > work! > > > Best, > Leonard > > > 2024年3月18日 下午4:32，Jingsong Li 写道： > > > >

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations, thanks release managers and all involved for the great work! Best, Leonard > 2024年3月18日 下午4:32，Jingsong Li 写道： > > Congratulations! > > On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@gmail.com> wrote: >> >> Congratulations, thanks for the great work! >> >> Best, >>

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congrats! Thanks Lincoln, Jing, Yun and Martijn driving this release. Thanks all who involved this release! Best, Jark On Mon, 18 Mar 2024 at 16:31, Rui Fan <1996fan...@gmail.com> wrote: > Congratulations, thanks for the great work! > > Best, > Rui > > On Mon, Mar 18, 2024 at 4:26 PM Lincoln

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations! On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@gmail.com> wrote: > > Congratulations, thanks for the great work! > > Best, > Rui > > On Mon, Mar 18, 2024 at 4:26 PM Lincoln Lee wrote: >> >> The Apache Flink community is very happy to announce the release of Apache >> Flink

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations, thanks for the great work! Best, Rui On Mon, Mar 18, 2024 at 4:26 PM Lincoln Lee wrote: > The Apache Flink community is very happy to announce the release of Apache > Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series. > > Apache Flink® is an open-source

[ANNOUNCE] Apache Flink 1.19.0 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming

Re: 急 [FLINK-34170] 何时能够修复？

FLINK-34170 只是一个UI的展示问题，并不影响实际的运行。 JDBC Connector 维表下推的 filter 不生效问题，已经在 FLINK-33365 中修复了，最新的 JDBC Connector 版本中已经带上了这个修复，你可以试一下~ casel.chen 于2024年3月15日周五 10:39写道： > > 我们最近在使用Flink 1.17.1开发flink sql作业维表关联使用复合主键时遇到FLINK-34170描述一样的问题，请问这个major > issue什么时候在哪个版本后能够修复呢？谢谢！ > > > select xxx from

急 [FLINK-34170] 何时能够修复？

我们最近在使用Flink 1.17.1开发flink sql作业维表关联使用复合主键时遇到FLINK-34170描述一样的问题，请问这个major issue什么时候在哪个版本后能够修复呢？谢谢！ select xxx from kafka_table as kt left join phoenix_table FORSYSTEM_TIMEASOFphoenix_table.proctime as pt on kt.trans_id=pt.trans_id and pt.trans_date = DATE_FORMAT(CURRENT_TIMESTAMP,'MMdd');

Re: Re:flink sql关联维表在lookup执行计划中的关联条件问题

Hi iasiuide, 感谢提问. 先来回答最后一个问题 关联维表的限制条件有的会作为关联条件，有的不作为关联条件吗？ 这种有什么规律吗？ > Lookup join 的 on condition 会在优化过程中经过一系列改写, 这里只简要对影响 lookup 和 where 的几处进行说明. 1. logical 阶段, FlinkFilterJoinRule 会将 on 条件 split 为针对单边的 (左表/右表) 和针对双边的. **针对单边的 filter 会被尽量 pushdown 到 join 节点之前** (这意味着有可能会额外生成一个 Filter 节点);

flink k8s operator chk config interval bug.inoperative

kcz 573693...@qq.com

Re:flink写kafka时，并行度和分区数的设置问题

退订 在 2024-03-13 15:25:27，"chenyu_opensource" 写道： >您好： > flink将数据写入kafka【kafka为sink】，当kafka > topic分区数【设置的60】小于设置的并行度【设置的300】时，task是轮询写入这些分区吗，是否会影响写入效率？【是否存在遍历时的耗时情况】。 > 此时，如果扩大topic的分区数【添加至200，或者直接到300】，写入的效率是否会有明显的提升？ > > 是否有相关的源码可以查看。 >期待回复，祝好，谢谢！ > > >

退订

退订

Re: 如何查询create table语句的详细内容

刚刚图没发完整 [image: Screenshot 2024-03-13 103802.png] Yubin Li 于2024年3月13日周三 17:44写道： > 用show create table语句 > [image: Screenshot 2024-03-13 103802.png] > > ha.fen...@aisino.com 于2024年3月12日周二 15:37写道： > >> 例如 >> CREATE TABLE Orders_in_kafka ( >> -- 添加 watermark 定义 >> WATERMARK FOR

Re: 如何查询create table语句的详细内容

用show create table语句 [image: Screenshot 2024-03-13 103802.png] ha.fen...@aisino.com 于2024年3月12日周二 15:37写道： > 例如 > CREATE TABLE Orders_in_kafka ( > -- 添加 watermark 定义 > WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND > ) WITH ( > 'connector' = 'kafka', > ... > ) >

Re: flink写kafka时，并行度和分区数的设置问题

你好， 写 Kafka 分区的策略取决于使用的 Kafka Sink 的 Partitioner [1]，默认使用的是 Kafka 的 Default Partitioner，底层使用了一种称之为黏性分区的策略：对于指定 key 的数据按照对 key hash 的方式选择分区写入，对于未指定 key 的数据则随机选择一个分区，然后“黏住”这个分区一段时间以提升攒批效果，然后攒批结束写完后再随机换一个分区，来在攒批效果和均匀写入间做一个平衡。 具体可以参考 [2]。 因此，默认配置下不存在你说的遍历导致攒批效果下降的问题，在达到 Kafka

Re: flink集群如何将日志直接写入elasticsearch中？

比较简单的方式是启动一个filebeat进程，抓取 jobmanager.log 和t askmanager.log Best, Jiabao kellygeorg...@163.com 于2024年3月13日周三 15:30写道： > 有没有比较方便快捷的解决方案？ > > >

Re:一次执行单条insert语句和一次执行多条insert语句有什么区别

Hi, fengqi. 上面那种statement的方式，最终将只会产生一个作业，这个作业有机会复用这个source（拓扑图1 个source -> 2 个calc_sink），因此只需要读一次source就行了。 下面那种execute sql两次的方式，将产生两个作业，两个作业完全独立。 -- Best！ Xuyang At 2024-03-13 12:26:05, "ha.fen...@aisino.com" wrote: >StatementSet stmtSet = tEnv.createStatementSet();

flink集群如何将日志直接写入elasticsearch中？

有没有比较方便快捷的解决方案？

flink写kafka时，并行度和分区数的设置问题

您好： flink将数据写入kafka【kafka为sink】，当kafka topic分区数【设置的60】小于设置的并行度【设置的300】时，task是轮询写入这些分区吗，是否会影响写入效率？【是否存在遍历时的耗时情况】。 此时，如果扩大topic的分区数【添加至200，或者直接到300】，写入的效率是否会有明显的提升？ 是否有相关的源码可以查看。 期待回复，祝好，谢谢！

退订

退订 | | 郝文强 | | 18846086...@163.com |

回复：如何查询create table语句的详细内容

使用show create table Orders_in_kafka语句 ha.fengqi wrote: > 例如 > CREATE TABLE Orders_in_kafka ( > -- 添加 watermark 定义 > WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND > ) WITH ( > 'connector' = 'kafka', > ... > ) > LIKE Orders_in_file ( > EXCLUDING ALL > INCLUDING GENERATED >

回复：如何查询create table语句的详细内容

使用show create table Orders_in_kafka语句 回复的原邮件 | 发件人 | ha.fen...@aisino.com | | 发送日期 | 2024年3月12日 15:37 | | 收件人 | user-zh | | 主题 | 如何查询create table语句的详细内容 | 例如 CREATE TABLE Orders_in_kafka ( -- 添加 watermark 定义 WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND ) WITH (

  1   2   3   4   5   6   7   8   9   10   >