Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

Congratulations ! Thanks Qingsheng for the great work and all contributors involved !! Best, Leonard > 2024年5月17日 下午5:32，Qingsheng Ren 写道： > > The Apache Flink community is very happy to announce the release of > Apache Flink CDC 3.1.0. > > Apache Flink CDC is a distributed data integration

[ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Hi devs and users, We are thrilled to announce that the donation of Flink CDC as a sub-project of Apache Flink has completed. We invite you to explore the new resources available: - GitHub Repository: https://github.com/apache/flink-cdc - Flink CDC Documentation:

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations, thanks release managers and all involved for the great work! Best, Leonard > 2024年3月18日 下午4:32，Jingsong Li 写道： > > Congratulations! > > On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@gmail.com> wrote: >> >> Congratulations, thanks for the great work! >> >> Best, >>

Re: 退订

可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件列表的邮件，邮件列表的订阅管理，可以参考[1] 祝好， [1] https://flink.apache.org/zh/what-is-flink/community/ > 2024年2月20日 下午4:36，任香帅 写道： > > 退订

Re: [ANNOUNCE] Apache Flink 1.18.1 released

ors of the Apache Flink community who > made this release possible! Special thanks to @Qingsheng Ren @Leonard Xu > @Xintong Song @Matthias Pohl @Martijn Visser for the support during this > release. > > A Jira task series based on the Flink release wiki has been created for >

Re: [ANNOUNCE] Apache Flink 1.17.2 released

Thanks Yun for driving the release. Thanks a lot to everyone that has contributed with bug fixes and other improvements! Best, Leonard > 2023年11月29日 下午1:05，Yun Tang 写道： > > The Apache Flink community is very happy to announce the release of Apache > Flink 1.17.2, which is the second

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Congratulations, Well done! Best, Leonard On Fri, Oct 27, 2023 at 12:23 AM Lincoln Lee wrote: > Thanks for the great work! Congrats all! > > Best, > Lincoln Lee > > > Jing Ge 于2023年10月27日周五 00:16写道： > > > The Apache Flink community is very happy to announce the release of > Apache > > Flink

Re: 提问

(1)可以检查下是不是其他作业或者同步工具使用了对应的server-id (2) server-id 可以尝试用机器IP+时间戳来生成，这样能尽可能避免冲突 祝好， 雪尽 > On May 22, 2023, at 3:34 PM, 曹明勤 wrote: > >

Re: checkpoint Kafka Offset commit failed

可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件列表的邮件，邮件列表的订阅管理，可以参考[1] 祝好， Leonard [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 > 2023年5月4日 下午9:00，wuzhongxiu 写道： > > 退订 > > > > | | > go574...@163.com > | > | >

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org ,参考[1] [1] https://flink.apache.org/zh/community/ > 2023年4月21日 上午10:52，琴师 <1129656...@qq.com.INVALID> 写道： > > 退订 > > > 琴师 > 1129656...@qq.com > > > >

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Best, Leonard > On Mar 27, 2023, at 5:23 PM, Yu Li wrote: > > Dear Flinkers, > > As you may have noticed, we are pleased to announce that Flink Table Store > has joined the Apache Incubator as a separate project called Apache > Paimon(incubating) [1] [2] [3]. The new

Re: 项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar 后启动报解析配置异常

flink-sql-connector-xx 都是uber jar, 不应该在项目中直接uber jar，你在项目中应该引入 flink-connector-xx 依赖并自己管理。 Best, Leonard > On Mar 25, 2023, at 3:25 PM, casel.chen wrote: > > 项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar > 后启动过程中报如下异常，查了一下该jar下有oracle.xml.jaxp.JXDocumentBuilderFactory类，有什么办法解决么？ > > >

[ANNOUNCE] Apache Flink 1.17.0 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.17.0, which is the first release for the Apache Flink 1.17 series. Apache Flink® is an open-source unified stream and batch data processing framework for distributed, high-performing, always-available, and

Re: [ANNOUNCE] FRocksDB 6.20.3-ververica-2.0 released

Thanks Yanfei for driving the release ! ! Best, Leonard > On Jan 31, 2023, at 3:43 PM, Yun Tang wrote: > > Thanks Yuanfei for driving the frocksdb release! > > Best > Yun Tang > From: Yuan Mei > Sent: Tuesday, January 31, 2023 15:09 > To: Jing Ge > Cc: Yanfei Lei ; d...@flink.apache.org >

Re: FlinkCDC可以读到MySQL变更数据，但是插不到新的MySQL表里

> On Nov 4, 2022, at 2:34 PM, 左岩 <13520871...@163.com> wrote: > > tenv.executeSql("xxx); > env.execute(); 这样使用是不对的，你可以看下这两个方法的java doc 祝好， Leonard

Re: flink sql接cdc数据源按最新数据统计问题

> On Nov 29, 2022, at 8:32 AM, casel.chen wrote: > > 业务需求是mysql订单表按天按供应商实时统计交易金额，订单表会发生修改和删除，用flink > sql要如何实现呢？开窗取最新一条记录再聚合吗？如果遇到delete记录会不会减去相应的price呢？试着写了如下flink sql不知道对不对 会的，可以看下flink sql相关的原理文章，百度/谷歌一搜一大把。 祝好 Leonard > > > select > s.biddate, > s.supplier, > sum(s.price) >

Re: debezium-json数据timestamp类型时区问题

你在Oracle 数据库中的数据类型是TIMESTAMP 还是 TIMESTAMP WITH LOCAL TIME ZONE？ 我猜是后者，如果是后者直接在Flink SQL 里TIMESTAMP_LTZ 类型去映射就可以了 Oracle 的TIMESTAMP LTZ 类型和Flink SQL的TIMESTAMP LTZ类型含义和存储都是一致的语义，即epoch mills，存储时不需要时区。这两个类型都是在各自的系统中在在需要查看这些数据时，需要用 session 时区从epoch mills 转换成可读timestamp格式的字符串。 Oracle 设置session

Re: [ACCOUNCE] Apache Flink Elasticsearch Connector 3.0.0 released

Thanks Chesnay and Martijn for the great work! I believe the flink-connector-shared-utils[1] you built will help Flink connector developers a lot. Best, Leonard [1] https://github.com/apache/flink-connector-shared-utils > 2022年11月10日 下午9:53，Martijn Visser 写道： > > Really happy with the

Re: flinkcdc 读不到mysql中数据

Flink CDC 社区有提供1.14支持的，2.2.1版本即可。你这个好像是没有开启checkpoint, 开启下就好了。 // enable checkpoint env.enableCheckpointing(1000); 祝好， Leonard > 2022年11月3日 上午11:34，左岩 <13520871...@163.com> 写道： > > 我用的是flink1.14 > ，因为官方没有匹配的版本，所以自己编译的flinkCDC，binlog也开启了，然后也没报错，读不到mysql的数据，idea控制台不报错也不输出数据，可能是什么原因呢（运行日志见附件） >

Re: Flink CDC 打宽表

是的，如果是双流join打宽，ttl设置得过短，state里的历史数据被清理掉了，后续的更新数据进入join节点关联不上就可能会下发nul 祝好， Leonard > 2022年11月2日 上午11:49，Fei Han 写道： > > 大家好！关于 Flink CDC 打宽表有如下疑问： > 启动一个任务后，刚开始个字段是有值的。但跑一段时间或者跨天后，字段无缘无故是null值了。用其他引擎跑数据却是正常的。 > 比如第一天启动任务，A字段是有值的。但是第二天发现A字段全部是NULL值了。但用presto查询却是正常的。但我猜测是不是和TTL设置有关系呢？我设置了1天。

Re: Flink CDC2.2.1 设置server id范围

l.chen 于2022年10月31日周一 16:50写道： > >> >> >> >> >> server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？ >> >> >> >> >> >> >> >> >> >> >> >> 在

Re: Flink CDC2.2.1 设置server id范围

> server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？ 作业起来后修改并发是需要调整的，建议这块可以放到平台里去设计，这样可以让写sql的用户知道with参数里参数的作用。 祝好， Leonard > > > > > > > > > > > 在 2022-10-31 16:04:32，"Leonard Xu" 写道： >

Re: flink sql client取消sql-clients-default.yaml后那些预置catalogs建议在哪里定义呢？

Hi, 我记得有个-i 参数可以指定初始化sql文件，你贴你的初始化sql在文件里加进去就可以了。 祝好， Leonard > 2022年10月31日 下午4:52，casel.chen 写道： > > flink新版本已经找不到sql-clients-default.yaml文件了，那么之前配置的那些预置catalogs建议在哪里定义呢？通过初始化sql么？

Re: Flink CDC2.2.1 设置server id范围

Hi, 你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’. 另外 server-id 是全局唯一的，你需要确保下你使用的server-id 和其他作业、其他同步工具都不冲突才可以。 Best, Leonard > 2022年10月31日 下午4:00，Fei Han 写道： > > 大家好！ > 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC >

Re: Flink SQL 问题请教

你好，你的Flink 版本多少呀？我记得低版本才有这个问题。 另外SQL可以贴下嘛？ 祝好， Leonard > 2022年10月22日 上午11:11，邮件帮助中心 写道： > > 大家好！ >最近在开发一个项目时，在使用CDC表和维表表做Temporal Table > JOIN时，发现2个表Join时join字段的类型必须一致，否则提交时提示如下的错误 >The main method caused an error: Temporal table join requires an equality > condition on fields of

Re: 看了官方文档的Versioned Table，有一些小疑惑希望可以得到解答

> 2022年8月8日 下午3:34，林影 写道： > > 先上链接， Versioned Table > > 从文档描述中可知，以Upsert-Kafka作为Source，以debezium或canal作为format时，可被认为是Versioned > Table Source。 > > 1. 那么flink

Re: flink table store

项目是开源的[1], 最近快要发布第一个版本了，可以关注下 Best, Leonard [1] https://github.com/apache/flink-table-store > 2022年4月7日 上午9:54，Xianxun Ye 写道： > > 这里有 flink table store 的设计文档，你可以了解下。 >

Re: [ANNOUNCE] Apache Flink 1.1.4.4 released

Thanks a lot for being our release manager Konstantin and everyone who involved! Best, Leonard > 2022年3月15日 下午9:34，Martijn Visser 写道： > > Thank you Konstantin and everyone who contributed!

Re: flinkcdc:slave with the same server_uuid/server_id as this slave has connected to the master;

Please see the FAQ document [1] Best, Leonard [1] https://github.com/ververica/flink-cdc-connectors/wiki/FAQ(ZH)#q10-%E4%BD%9C%E4%B8%9A%E6%8A%A5%E9%94%99-connectexception-a-slave-with-the-same-server_uuidserver_id-as-this-slave-has-connected-to-the-master%E6%80%8E%E4%B9%88%E5%8A%9E%E5%91%A2 >

Re: flink结合历史数据怎么处理

MySQL CDC connector 支持并发读取的，读取过程也不会用锁，600万的数据量很小了，百亿级的分库分表我们和社区用户测试下都是ok的，你可以自己试试。 祝好， Leonard > 2021年12月6日 下午3:54，张阳 <705503...@qq.com.INVALID> 写道： > > 因为数据量有600w 所以担心初始化时间太长 或者性能问题 > > > > > --原始邮件-- > 发件人:

Re: flink结合历史数据怎么处理

如果你的数据源是 数据库，你可以尝试下 Flink CDC Connectors[1], 这些Connector 就是 hybrid source， 先读历史全量数据，再读增量数据， 历史和增量阶段是无缝衔接的。 祝好， Leonard [1] https://ververica.github.io/flink-cdc-connectors/release-2.1/content/connectors/mysql-cdc.html > 2021年12月2日 下午2:40，张阳 写道： > > 统计的指标有大量的历史数据，怎么把历史的数据和今天的实时数据进行汇总呢。

Re: 退订

你好，取消订阅是发送到 user-zh-unsubscr...@flink.apache.org , 参考 https://flink.apache.org/zh/community.html#section 祝好 > 在 2021年11月24日，14:33，Gauler Tan 写道： > > 你好，已经发了很多次退订了，发啥还在源源不断的给我发邮件？ > > 谢谢

Re: FlinkSQL ES7连接器无法使用

这是个依赖问题，你检查下你环境中是否只使用sql connector 的jar，即 flink-sql-connector-elasticsearch7， 如果不是 datastream 作业是不需要 flink-connector-elasticsearch7 这个 jar包的。如果不是这个问题，你可以分析下你作业里使用的 es 相关依赖，可以参考异常栈确定类再去确定jar包，看下是不是多加了一些无用的jar。 祝好， Leonard > 在 2021年11月22日，12:30，mispower 写道： > > 你好，咨询一下后续你这个问题是如何解决的？ > > >

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org > 在 2021年11月2日，14:15，李芳奎 写道： > > 退订 > > felix > > felix_...@163.com

Re: flinksql 读取orc文件失败

图挂了，试着直接贴下日志文本，或者用图床工具。 > 在 2021年10月28日，16:54，陈卓宇 <2572805...@qq.com.INVALID> 写道： > > > > > > flink版本:1.12.2 > jdk:1.8 > 场景:flinksql 读取hdfs的orc文件 > 请教大神这个报错是什么原因 > > > 宇 >

Re: 一些关于flink rabbitmq connector的疑问

Hi, Peng There’s no doubt that RabbitMQ is a good open source community with active users. I understand what @renqschn means is that Flink RabbitMQ Connector is one connector with few users among the many connectors in the Flink project. From my observation, the connector that is used more

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 即可 > 在 2021年9月27日，14:43，rzy1107 写道： > > 退订

Re: GroupWindowAggregate doesn't support consuming update and delete changes which is produced by node Deduplicate

hi, 报错详情可以在邮件贴下吗？ > 在 2021年9月27日，11:36，lzy139...@outlook.com 写道： > > 使用ROW_NUMBER过滤数据后，进行开窗聚合计算报错

Re: mysql cdc入hudi湖出错

Hi, chan 完整的日志能贴下吗？这个日志还看不出来。 > 在 2021年9月24日，18:23，casel.chen 写道： > > SELECT `id`, `name`, `birthday`, `ts`, DATE_FORMAT(`birthday`, 'MMdd') AS > `partition` FROM mysql_users;

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 即可 Best, Leonard > 在 2021年9月26日，14:25，luoye <13033709...@163.com> 写道： > > 退订

Re: flink-1.12.0 ddl设置watermark error，但是1.13.2没有报错

这是个已知bug[1]， 在1.13.0 和 1.12.3上都修复了， 你可以用下flink 1.12.5 或 1.13.2的小版本 [1]https://issues.apache.org/jira/browse/FLINK-22082 祝好 > 在 2021年9月25日，21:29，kcz <573693...@qq.com.INVALID> 写道： > > SQL定义如下，当1.12.0将watermark语句移除之后，就不报错了。 > CREATE TABLE KafkaTable ( > test array gatherTime STRING, > log_ts

Re: flink cdc SQL2ES，GC overhead limit exceeded

应该和Flink CDC无关，CDC只是source，这个异常栈是从join节点抛出来的，你可以贴下你的SQL和配置 这样大家才好分析一点 Best, Leonard > 在 2021年9月15日，15:01，wukon...@foxmail.com 写道： > > hi LIYUAN: > 请描述下如何使用的flink，以及什么场景下 会造成这个报错， 这样方便大家帮助你定位问题。 > > > > wukon...@foxmail.com > > 发件人： LI YUAN > 发送时间： 2021-09-09 20:38 > 收件人： user-zh > 主题：

Re: flink-connector-postgres-cdc：no changes will be captured 无数据捕获到

gt; > > BR > Fisher > > > On Mon, Sep 6, 2021 at 5:55 PM Leonard Xu <mailto:xbjt...@gmail.com>> wrote: > Hello, Fisher > > 图挂了，可以用图床工具贴下吗？ > 我可以帮忙看看 > > 祝好， > Leonard > > > 在 2021年9月6日，17:48，Fisher Xiang > <mailto:fisherxia...@gmail

Re: flink-connector-postgres-cdc：no changes will be captured 无数据捕获到

Hello, Fisher 图挂了，可以用图床工具贴下吗？ 我可以帮忙看看 祝好， Leonard > 在 2021年9月6日，17:48，Fisher Xiang 写道： > > hi, > > 在使用 flink-connector-postgres-cdc时（版本从1.1.1 ~ 1.4.0都试过）， 出现一个警告： > WARN io.debezium.relational.RelationalDatabaseSchema - After applying the > include/exclude list filters, no changes will be

[ANNOUNCE] Flink mailing lists archive service has migrated to Apache Archive service

Hi, all The mailing list archive service Nabble Archive was broken at the end of June, the Flink community has migrated the mailing lists archives[1] to Apache Archive service by commit[2], you can refer [3] to know more mailing lists archives of Flink. Apache Archive service is maintained by

Re: 退订

Hi, Please send email to dev-unsubscr...@flink.apache.org if you want to unsubscribe the mail from d...@flink.apache.org . Please send email to user-unsubscr...@flink.apache.org

Re: 【Announce】Zeppelin 0.10.0 is released, Flink on Zeppelin Improved

Thanks Jeff for the great work ! Best, Leonard > 在 2021年8月25日，22:48，Jeff Zhang 写道： > > Hi Flink users, > > We (Zeppelin community) are very excited to announce Zeppelin 0.10.0 is > officially released. In this version, we made several improvements on Flink > interpreter. Here's the main

Re: mini-batch 设置后没效果

> 如何退订这个邮件订阅了 如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 即可 Best, Leonard

Re: Flink SQL Api不支持TIMESTAMP(p) WITH TIME ZONE 类型的列

Hello, Flink 还不支持 TIMESTAMP WITH TIME ZONE 类型， 目前支持的有： TIMESTAMP WITHOUT TIME ZONE, 缩写为 TIMESTAMP TIMESTAMP WITH LOCAL TIME ZONE，缩写为TIMESTAMP_LTZ 祝好， Leonard > 在 2021年8月19日，20:51，changfeng 写道： > > ` TIMESTAMP(6) WITH TIME ZONE

Re: 请教下Flink时间戳问题

Hi, 你贴的图都挂了，需要传图可以用下图床工具，代码少可以直接贴代码。 TIMESTAMP 类型中 显示的T 没有任何含义，只是 format 一个时间戳时的一个分割符，你最终把 TIMESTAMP 写入到你的sink，你自己的sink（比如mysql）会有其自己的format。 第二个问题，看不到你的图，你看下你flink的版本，1.13后这个TIMESTAMP_LTZ类型支持才完善的。 祝好， Leonard > 在 2021年8月16日，10:27，Geoff nie 写道： > > 问题一：flink timestamp时间戳为何中间多了个T，怎么才能少去中间T呢？

Re: Flink SQL向下兼容吗？

这里的SQL是指DDL还是DML，通常 DML都是兼容的，且一般不会有不兼容的升级， DDL 语法 各家 SQL 方言都有自己的语法，这个比较灵活，FLINK SQL 的DDL 各个版本稍有不同，但 Flink SQL 新版本都是兼容老的 DDL的， 只是新版本上的DDL语法如果提供了更丰富的功能，那么老版本的DDL则不能提供 。 所以我理解你关心的兼容性问题是不存在的，但请注意如果你的SQL作业是有状态的，需要带状态升级，这些状态都是跨版本不兼容的。 祝好， Leonard > 在 2021年8月10日，11:44，Jason Lee 写道： > > 各位大佬好， > >

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org Best, Leonard > 在 2021年8月6日，10:49，汪嘉富 写道： > > 退订 >

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org Best, Leonard > 在 2021年8月11日，08:16，Lee2097 写道： > > 退订

Re: flink 1.13.1 使用hive方言，执行hive sql解析报错

看起来是sql语法报错，这里面的ELSE呢？ 祝好， Leonard > 在 2021年7月27日，20:04，Asahi Lee <978466...@qq.com.INVALID> 写道： > > CASE > WHEN mipd.`param_cn` = '月池尺寸' THEN > mipv.`param_value` > END AS `Moonpool`

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，是发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org > 在 2021年7月28日，10:52，赵珠峰 写道： > > 退订 > > > > 本邮件载有秘密信息，请您恪守保密义务。未经许可不得披露、使用或允许他人使用。谢谢合作。 > This email contains confidential information. Recipient is obliged to keep > the information confidential.

Re: 退订

如果需要取消订阅 u...@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 。 > 在 2021年6月29日，11:01，大雨 <95133...@qq.com.INVALID> 写道： > > 退订

Re: Processing-time temporal join is not supported yet

会保留维表状态的，靠watermark清理过期数据。 祝好 Leonard > 在 2021年6月23日，19:20，op <520075...@qq.com.INVALID> 写道： > > 谢谢，Event time temporal join > 会保存temporal每个的key的最新状态吗，官网文档说跟两边watermark有关，每太看明白。。。 > > > > > --原始邮件-- > 发件人:

Re: Processing-time temporal join is not supported yet

Hi, Flink SQL 目前支持 Event time temporal join 任意表/视图，还不支持 Processing-time temporal join 任意表/视图（支持Processing-time join 实现了LookupTableSource的表）。 Processing-time temporal join 任意表目前不支持的原因主要是语义问题，具体来说: 在Processing time关联时，Flink SQL 层面还没比较好的机制保证维表加载完后再关联。比如如用来做维表流的kafka中有 1000万 条数据，但目前没有办法实现将这

Re: flink sql cdc如何获取元数据

Hello, Flink sql cdc 还不支持获取元数据， 获取元数据的业务场景通常是怎么样的呢？ 祝好， Leonard > 在 2021年6月23日，08:21，casel.chen 写道： > > flink sql cdc如何获取元数据？像数据库名，表名，操作类型，binlog产生时间等。 > > > create table xxx_tbl ( > k_op varchar, -- 操作类型 > k_database varchar, -- 数据库名 > k_table varchar, -- 表名 > k_ts. BIGINT, --

Re: 动态选择流

你的动态规则是怎么输入的？ 流作业都是预先编译好作业拓扑，然后再调度运行，动态调整作业拓扑基本可不能。 祝好， Leonard > 在 2021年6月22日，20:10，梁鲁江 写道： > > 你好， > 麻烦问一下，有没有API或者实现方式来动态选择多个流。 > 例如我有A、B、C三条流，我的动态规则1要去joinA、B ,关联条件不定；动态规则2要去join B、C两条流 ……

Re: 场景实现咨询

Hi, 你可以试下 event time 的 temporal join， 把订单扩展信息表作为版本表。 Best, Leonard [1] https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/dev/table/sql/queries/joins/#event-time-temporal-join > 在 2021年6月20日，11:33，chenchencc <1353637...@qq.com.INVALID> 写道： > > 大佬们好，我有个生产场景，不知道怎么用flink sql实现。想咨询下。

Re: flink sql cdc做计算后， elastic search connector 多并发sink 会有问题，偶现！数据量较大，目前还没较好复现。请问有人是否也遇到过类似的问题。

看起来和 Flink-CDC 关系不大，看异常栈是 ES 侧抛出的异常 version_conflict_engine_exception， 可以查下这个异常，看下是不是有写（其他作业/业务 也在写同步表）冲突。 祝好， Leonard > 在 2021年6月16日，17:05，mokaful <649713...@qq.com> 写道： > > 相同问题，请问有处理方式吗 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql cdc数据同步至mysql

试着回答下这两个问题。 > flink 1.12的jdbc connector不支持 sink.parallism 参数，是不是说只能和上游cdc > connector保持相同的并行度1？如果是的话，下游sink会有瓶颈，因为表中存有大量的历史数据，将存量数据同步到目标表需要花费不少时间，而新的业务数据也源源不断进来，导致追不上。这要如何解决？ 是的，关键问题是cdc connector为了保证数据一致性只能单并发，所以作业也只能单并发。这个需要cdc connector支持多并发读取，下游sink自然就能解决。 > flink 1.13的jdbc connector新增

Re: flink自定义connector相关报错

路径错了 > 在 2021年6月2日，17:02，MOBIN <18814118...@163.com> 写道： > > META-INF.services/org.apache.flink.table.factories.Factory => META-INF/services/org.apache.flink.table.factories.Factory 祝好 Leonard

Re: flink1.13 通过sql cli执行hdfs上面的SQL文件

> > 目前还不支持HDFS路径,只支持本地的文件,未来应该会支持. 是的， 目前还不支持，只支持本地文件，这个异常信息不是很明确 https://issues.apache.org/jira/browse/FLINK-22795 祝好， Leonard > > > > - > Best Wishes > JasonLee > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 1.13.0 中cumulate window 使用

Hi, Cumulate window 是基于 window TVF 语法的，和之前的 groupWindowFunction 不一样， 你可以参考 [1] Window TVF 也支持了 tumble window, hop window， 并且性能更优，session window 预计会在1.14支持， session window 有需要可以使用老的语法。 Best, Leonard [1]

Re: flink 维表

Hi > 1, 这个时态表必须是changlog流吗, 就是debezium - kafka 这样, 用和主表的flink cdc不可以吗, > 我用flink cdc测试没成功,因为flink cdc的维表好像不能指定watermark? 我们常说的 lookup维表也是时态表的一种，lookup 正如这个单词字面意思一样，主流的每条数据到来时都按 lookup key 去外部DB中 查询 一条记录，这张维表自然就是最新的维表，这就是 proctime temporal join 的语义。 基于 Event-time temporal join，是按照 event-time

Re: flink 维表

HI， 可以修改的，修改后不需要重启作业。 修改后 flink 事实流 是能立即 查询到 最新的维表数据（前提是维表查询出来的数据没有开启cache）。 你可以理解下 lookup 维表的语法： A join B for system time as of A.proctime on A.id = B.id 就是 查询当前最新的维表(proctime代表了最新时间)并关联。 祝好, Leonard > 在 2021年5月27日，16:35，liujian <13597820...@qq.com> 写道： > >

Re: flink问题咨询

Hello 你可以把具体的问题描述清楚点，比如给出一些数据和sql，能够复现你遇到的问题，这样大家才能帮忙排查。 祝好， Leonard Xu > 在 2021年5月18日，09:49，清酌 写道： > > 您好！ > 我在使用1.11版本flink sql cdc > 时候，用sql形式想对多表关联生成实时的宽表，发现经常出现宽表的数据不准。特别是源表在cdc变更时候。比如：宽表本应该10条数据变更，但是实际只变更了3条。 > 我想知道这个问题是基于我使用不当产生的还是1.11版本的问题，如果是版本的问题后续会修复吗？

Re: 维度表 处理时间

只需要最新的维表数据，可以用处理时间，这样是事实表每条都实时去查mysql最新维表数据； 如果业务可以接受近似最新的维表数据，也可以将查询的维表结果通过缓存优化，减少访问mysql io访问，这两个参数： lookup.cache.max-rows" lookup.cache.ttl 祝好， Leonard [1] https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/connectors/table/jdbc/#%E8%BF%9E%E6%8E%A5%E5%99%A8%E5%8F%82%E6%95%B0 > 在

Re: UpsertStreamTableSink requires that Table has a full primary keys if it is updated.

这里说的 PK 是定义在你结果表 DDL 上的PK，最开始的报错信息应该是你结果表上没声明PK吧。 你自定义的 connector 支持 upsert 的话，参考下 HBaseUpsertTableSink 的实现，你的 sink 获取到 Factory Context 中schema 的 pk 后，需要按照 upsert 语义处理下。 祝好， Leonard > On May 14, 2021, at 15:39, automths wrote: > > Hi: > > 该问题有进一步的进展了。 > > > 我把cdc对应的表在创建表时设置了primary

Re: 扩展SqlServerDialect 运行在flink on k8s报错

Hi 看日志是加载不到对应的class文件，(1)可以对比下你jar包里的路径是不是不正确,(2) 检查下集群上是不是还有之前的jar包，没替换干净 祝好 Leonard > 在 2021年5月7日，13:58，18756225...@163.com 写道： > > 大家好，遇到一个问题： > 坏境：flink 版本1.12.1, k8s集群为session模式, 该集群之前可以将数据正常写入到mysql > 参考mysqlDialect 扩展了一个 >

Re: 設置look up table source

Hi, ChongAih 你可以参考 JdbcDynamicTableSource [1] 这个 table source 实现了 LookupTableSource 接口，你需要写一个类似 JdbcRowDataLookupFunction 即可 的函数即可。 祝好， Leonard [1]

Re: flink-sql-connector-elasticsearch6_2.11_1.10.0 与 flink-connector-elasticsearch6_2.11_1.10.0 并存问题

Hi 如果只是sql作业，使用flink-sql-connector-elasticsearch6_2.11_1.10.0 就可以了，如果纯datastream作业使用flink-connector-elasticsearch6_2.11_1.10.0 就可以了 如果两个包都要使用，有两个思路 1. 你自己自己打个包，把上面两个包的依赖放在一起。 2. 和1类似，shade掉flink-connector-elasticsearch6_2.11_1.10.0 我没实际打过，你可以动手试下。 祝好 > 在 2021年4月20日，14:13，william

Re: 退订

On Mon, Apr 12, 2021 at 3:06 PM yangxiaofei wrote: > 退订 > > Hi 是指取消订阅邮件吗？取消和订阅邮件组 不是直接发给邮件组， Apache的邮件组管理都类似。 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 就可以取消订阅 user-zh@flink.apache.org 邮件列表 邮件列表的订阅管理，可以参考[1] 祝好， Leonard Xu [1] https://flink.apache.org/community

Re: BUG ：DataStream 转 Table 后无法 触发窗口计算

你好， 你的flink版本是多少？ 之前有个bug是Table转datastream 会丢rowtime问题，看起来是这个问题。 我在[1]里修复了，你可以升级对应的版本试下。 祝好， Leonard [1]https://issues.apache.org/jira/browse/FLINK-21013 > 在 2021年3月10日，14:34，HunterXHunter <1356469...@qq.com> 写道： > > 再试了一下： > 修改并行度也不行 >

Re: flink sql中如何使用异步io关联维表？

目前Flink SQL 中的connector都没实现异步io关联维表，接口是上已经支持了的，如果是自己实现可以参考[1] 另外，HBase connector 社区有人正在支持异步io关联维表，预计1.13可以使用[2] 祝好

Re: [DISCUSS] Deprecation and removal of the legacy SQL planner

+1 for the roadmap. Thanks Timo for driving this. Best, Leonard > 在 2021年3月4日，20:40，Timo Walther 写道： > > Last call for feedback on this topic. > > It seems everyone agrees to finally complete FLIP-32. Since FLIP-32 has been > accepted for a very long time, I think we don't need another

Re: Flink SQL temporal table join with Hive 报错

> > 二，维表有有分区，每个分区仅仅包含当天的数据，没有 primary key > > 这种情况因为要 Join 全部的数据，所以还是需要设置 'streaming-source.partition.include' = > 'all'，但是还是因为没有 primary Key，所以无法 run。 > > 现在就是针对第二种情况，因为Hive的维度表不是我维护的，很多人都在用，所以不能修改去加上 primary key，无法进行 join. 第二种情况，hive表不是streaming读的，相当于是一张静态表，每次都是加载最新的全量，所以配置如下参数即可

Re: Flink SQL temporal table join with Hive 报错

Hi, macia > 在 2021年2月9日，10:40，macia kk 写道： > > SELECT *FROM >( >SELECT tt.* >FROM >input_tabe_01 tt >FULL OUTER JOIN input_tabe_02 mt >ON (mt.transaction_sn = tt.reference_id) >and tt.create_time >= mt.create_time + INTERVAL

Re: Flink SQL Hive 使用 partition.include 结果跟文档不一致

Hi > 在 2021年2月5日，09:47，macia kk 写道： > > the `latest` only works` when the > streaming hive source table used as temporal table. 只能用在temporal（时态）表中，时态表只能在 temporal join（也就是我们常说的维表join） 中使用 祝好

Re: 是否可以 hive 流 join hive 流？

还没有，你可以关注下这个issue[1] 祝好, Leonard [1] https://issues.apache.org/jira/browse/FLINK-21183 > 在 2021年2月1日，13:29，macdoor 写道： > > 当前的 1.13-snapshot 支持了吗？我可以试试吗？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 是否可以 hive 流 join hive 流？

Okay, 和我理解的一样，这个时间上是 event time, 基于event time的 interval join 需要定义watermark，目前hive表还不支持定义watermark，1.13应该会支持。 > 在 2021年2月1日，10:58，macdoor 写道： > > p1.time 是数据记录里的时间，也用这个时间做分区 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql时区问题

嗯，flink 中 很多时间函数比如PROCTIME()/CURRENT_TIMESTAMP 返回的值都是 UTC+0的时间值，这里的timezone设置对这些函数不生效的，这些函数是有点时区问题的， 目前只能在代码里通过加减时区偏移绕过。 > 在 2021年2月1日，10:50，沉醉寒風 <1039601...@qq.com> 写道： > > 在代码中这样设置 streamTableEnv.getConfig().setLocalTimeZone(ZoneId.of("+8")) > 也不管用. 还是要自己手动去加减时间才能做到,方法比较笨, > > > > >

Re: flink sql时区问题

Hi, 时区不生效在你的代码中是体现在那些地方呀？目前flink sql是有些时区问题，社区也希望在1.13能解决掉。 > 在 2021年2月1日，10:42，沉醉寒風 <1039601...@qq.com> 写道： > > streamTableEnv.getConfig().setLocalTimeZone(ZoneId.of("+8"))

Re: 是否可以 hive 流 join hive 流？

Hi，macdoor 很有意思的case，p1.time字段是你记录里的时间吗？ 你hive表的分区字段和这个时间字段的关系是怎么样的呀？ > 在 2021年1月30日，17:54，macdoor 写道： > > 具体需求是这样，采集取得的通道总流量5分钟一次存入 hive 表，为了取得 5 分钟内该通道的流量，需要前后2次采集到的总流量相减，我想用同一个 hive > 表自己相互 join，形成 2 个 hive 流 join，不知道是否可以实现？或者有其他实现方法吗？ > 我现在使用 crontab 定时 batch 模式做，希望能改成 stream 模式 > >

Re: 咨询求助

> 在 2021年1月31日，20:15，Appleyuchi 写道： > > 一点小小的建议哈， > 目前flink社区讨论主要还是java/scala为主， > 如果执意使用pyflink的话，后续极有可能会遇到较大的阻力． 我理解这种较大阻力应该不存在的，社区里pyflink的投入还挺大的，蛮多开发者的，我也cc两位在这块做贡献的社区开发者，从JIRA上看pyflink相关的开发进度都挺快的。 如果有机器学习，python相关的经验，用pyflink我觉得挺合适的。 祝好， Leonard

Re: 退订

Hi 需要取消订阅邮件， 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件列表的邮件 邮件列表的订阅管理，请参考[1] 祝好， Leonard [1] https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list >

Re: Flink sql去重问题

Hello 特殊的Top-N是说去重的语义是Top 1, 所以只用保留一个大小的堆，其底层实现和其他Top-N的数据结构不一样，并不需要维护一个堆, 其他的数据根据语义 要么被丢掉，要么撤回下发新值，另外这种有状态的算子，数据都是放在state里的，设置的TTL是生效的，表示state中的数据有效期时多久，这个数据会用来判断新来的数据是丢掉还是撤回旧值并下发新的值。 祝好， Leonard > 在 2021年1月22日，10:53，guaishushu1...@163.com 写道： > > >

[DISCUSS] FLIP-162: Consistent Flink SQL time function behavior

Hello, everyone I want to start the discussion of FLIP-162: Consistent Flink SQL time function behavior[1]. We’ve some initial discussion of several problematic functions in dev mail list[2], and I think it's the right time to resolve them by a FLIP. Currently some time function behaviors

Re: [DISCUSS] Correct time-related function behavior in Flink SQL

> If use the default Flink SQL, the window time range of the >> statistics is incorrect, then the statistical results will naturally be >> incorrect. To zhisheng, sorry to hear that this problem influenced your production jobs, Could you share your SQL pattern? we can have more inputs a

Re: Flink SQL kafka connector有办法获取到partition、offset信息嘛？

> 看了下，是1.12才开始支持么，1.11是不行的嘛？ 是的，1.11不支持，文档也是有版本的，如果对应版本的文档里没有该功能介绍，那就是不支持的。

Re: 【Flink SQL】维表优化规则建议

Hi, 这个异常信息可以提升的准确说是需要主键和even-time 时间属性，你的自定义维表是同时支持lookup和scan的吗？ 这个异常信息可以提升的，如果确定问题的话可以再社区建个JIRA提升下的。 祝好 Leonard Xu > 在 2021年1月9日，09:39，张韩 写道： > > 版本：1.12 > 问题：维表关联若是支持事件时间，维表需要有主键和时间属性，在满足这两个条件前提下，自定义维表若是实现LookupTableSource接口则优化会报异常： > Caused by: org.apache.calcite.pla

Re: flink-sql流平台工具

感谢分享！ 看起来很nice的平台化实践，star 了. > 在 2020年12月29日，21:09，zhp <499348...@qq.com> 写道： > > 本人业余时间开发了一个基于flink-sql 的web 可视化ui平台供大家学习、参考、使用 > https://github.com/zhp8341/flink-streaming-platform-web > > > > > -- > Sent from:

Re: flink1.12支持hbase1.2吗

Hi， hbase-1.2社区没测试过，社区支持的是hbase-1.4.x 和 hbase-2.3.x, 你可以用hbase-1.4.x的connector试下，connector使用到Hbase的API不多，1.4.x 和 1.2.x 应该是兼容的 祝好， Leonard > 在 2020年12月29日，21:12，zhp <499348...@qq.com> 写道： > > flink1.12支持hbase1.2吗 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: pyflink1.12 使用connector read.query参数报错

Hi, 嘉伟 1.12 应该不支持 read.query， 社区还在讨论是否要开放这个，有些concern, 简单的讲，就如你这个query写的，创建的这张JDBC 表应该是一个 View 而不是对应一张JDBC 表，同时这个表只能用来作为source，不能用来作为sink。 祝好， Leonard > 在 2020年12月24日，19:16，冯嘉伟 <1425385...@qq.com> 写道： > > hi! 试试这个 > > CREATE TABLE source_table( >yldrate DECIMAL, >

Re: Flink-1.12支持kafka join jdbc维表吗

维护放在state里，在运行时每条数据去和state中的数据关联。 祝好 Leonard > > > > > 发件人： Leonard Xu > 发送时间： 2020-12-21 14:44 > 收件人： user-zh > 主题： Re: Flink-1.12支持kafka join jdbc维表吗 > Hi >> 在给jdbc声明主键和watermark后，使用官网的事件时间join语法，任务启动后发现jdbc算子一次性读取了所有jdbc维表数据，状态变成了finished > > 这是正

Re: Flink-1.12支持kafka join jdbc维表吗

Hi > 在给jdbc声明主键和watermark后，使用官网的事件时间join语法，任务启动后发现jdbc算子一次性读取了所有jdbc维表数据，状态变成了finished 这是正常的，jdbc connector实现的表就是bounded的，只会scan一次，一次读完，之后数据库表的数据更新是没有去捕捉的，connector也没有很好的办法去实时监控数据库表的更新并广播到下游节点。 如果想要有获取实时更新的维表并做基于event time语义的维表关联，那么推荐的方式就是接入数据库表的binlog(changelog), 用主流去 temporal join

Re: Pyflink1.12尝试连接oracle数据，报错findAndCreateTableSource failed

目前 JDBC connector 只支持 MySQL, Pg和Derby(一般测试用)这几种dialect， Oracle还不支持。 祝好， Leonard > 在 2020年12月17日，09:47，肖越 <18242988...@163.com> 写道： > > pyflink小白，测试pyflink1.12功能，想通过定义connector从oracle数据库中获取数据 > 通过如下方式定义： > env = StreamExecutionEnvironment.get_execution_environment() > env.set_parallelism(1) >

Re: A group window expects a time attribute for grouping in a stream environment谢谢

k-docs-master/zh/dev/event_time.html> > － > 昨天的完整代码是: > https://paste.ubuntu.com/p/9JsFDKC5V8/ > > > ～！！！ > > > > > > > > > > > > 在 2020-12-10 12:02:31，"Leonard Xu"

  1   2   3   4   >