Re: 咨询flink1.17+jdk11环境下使用G1 GC发生大量full gc的问题

hi, yidan 除 jvm 参数外，flink 其他配置完全一样吗？比如 state backend 是否有变化？ 另外， jdk11 是不是用的最新版本，不是的话，觉得也可以尝试一下最新版本。 如果 jdk11 用的最新版本，可以尝试下使用其他 GC 算法是否也有同样问题。比如 -XX:+UseParallelGC -XX:NewRatio=3 -XX:ParallelGCThreads=4 -XX:CICompilerCount=4 -XX:-CompactStrings Best, Yuxin yidan zhao 于2023年5月26日周五 17:39写道： >

Re: 用flink sql如何实现累计当天交易数量每来一笔交易都实时更新状态并输出到下游?

Hi 可以将天级时间和其他需要聚合的字段组成key，使用聚合算子，默认会每条数据完成计算后实时输出结果 Best, Shammon FY On Fri, May 26, 2023 at 3:44 PM casel.chen wrote: > 用flink sql如何实现累计当天交易数量每来一笔交易都实时更新状态并输出到下游?

咨询flink1.17+jdk11环境下使用G1 GC发生大量full gc的问题

最近升级flink版本和jdk版本，flink从1.15.2升级到1.17.0，jdk从8升级到11。然后出现大量full gc。 分析后，发现主要是 System.gc() 导致。 进一步定位到是 redisson 库中 netty 部分用到了 DirectMemory 导致。 直接内存不足，导致频繁调用 System.gc 触发 full gc。 我现在问题是，通过测试对比实验发现，jdk8+flink1.17没问题，jdk11+flink1.17就会有该问题。 有人知道原因嘛？ 其他信息：

用flink sql如何实现累计当天交易数量每来一笔交易都实时更新状态并输出到下游?

用flink sql如何实现累计当天交易数量每来一笔交易都实时更新状态并输出到下游?

FlinkSQL大窗口小步长的滑动窗口解决方案

Hi, all. 我在使用FlinkSQL的window tvf滑动窗口时遇到一些问题。 滑动步长为5分钟，窗口为24小时，group by user_id的滑动窗口，当任务挂掉了或者从kafka的earliest-offset消费，checkpoint很难成功。 因为从earliest开始消费，数据很快就会堆满缓冲区产生背压，这时这一批数据可能会触发N次窗口计算往下游发，每次触发的操作成本是（用户基数 * 24 * 60 / 5），checkpoint barrier可能会一直卡住。 这时候有什么办法可以破局吗？ best, tanjialiang.

回复： flink 窗口触发计算的条件

请教一下老师，您说的【同样数据的话，水印没有推进，窗口就不会触发】是不是意思是发送相同的数据，数据本身携带的时间戳是一样的，达不到水位线触发窗口的标准呀？ 还有两个问题想请教一下各位老师： 1、事件时间窗口的闭合是取决于下一条数据所携带的时间戳嘛，只有当下一条数据携带的时间戳大于上一个窗口的endTime，窗口才会触发，如果是这个样子的话，那如果一个最后一个窗口怎么触发啊 2、我想使用stream api去打印出来窗口的起始时间以及结束时间，这个是哪一个api呀 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人

Re:回复： flink 窗口触发计算的条件

你好，可以先看看官方文档中关于事件时间和水印的介绍 https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/concepts/time/ 如果你发了多条数据，但是都是同样数据的话，水印没有推进，窗口就不会触发 在 2023-05-25 10:00:36，"小昌同学" 写道： >是的 我发送了很多数据，发现窗口还是没有触发 > > >| | >小昌同学 >| >| >ccc0606fight...@163.com >| > 回复的原邮件 >| 发件人 |

回复： flink 窗口触发计算的条件

是的 我发送了很多数据，发现窗口还是没有触发 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | yidan zhao | | 发送日期 | 2023年5月25日 09:59 | | 收件人 | | | 主题 | Re: flink 窗口触发计算的条件 | 如果你只发送了一条数据，那么watermark不会推进，就不会触发窗口计算。你需要更多数据。 小昌同学 于2023年5月25日周四 09:32写道： 各位老师，请教一下关于flink 事件时间窗口的执行时间点的相关问题；

Re: flink 窗口触发计算的条件

如果你只发送了一条数据，那么watermark不会推进，就不会触发窗口计算。你需要更多数据。 小昌同学 于2023年5月25日周四 09:32写道： > > 各位老师，请教一下关于flink 事件时间窗口的执行时间点的相关问题； > 我使用的窗口是：TumblingEventTimeWindows(Time.minutes(1L)),我使用的时间定义是System.currentTimeMillis()，watermark是2秒， > 但是当我发送一条数据后，过了5分钟之后，窗口都没有触发计算，想请各位老师帮忙看一下程序的问题所在： > 相关代码以及样例数据如下： > | >

flink 窗口触发计算的条件

各位老师，请教一下关于flink 事件时间窗口的执行时间点的相关问题； 我使用的窗口是：TumblingEventTimeWindows(Time.minutes(1L)),我使用的时间定义是System.currentTimeMillis()，watermark是2秒， 但是当我发送一条数据后，过了5分钟之后，窗口都没有触发计算，想请各位老师帮忙看一下程序的问题所在： 相关代码以及样例数据如下： | package job; import bean.MidInfo3; import bean.Result; import bean2.BaseInfo2; import

关于Table API 或 SQL 如何设置水印的疑问？

各位老师好，我最近在做Flink查询Hive的功能，需要用到窗口处理数据，在编写代码过程中无法设置水印，我看官网看到Table API & SQL 设置事件时间有三种方式： 1、在 DDL 中定义 2、在 DataStream 到 Table 转换时定义 3、使用 TableSource 定义 而我使用的是HiveCatalog查询hive，貌似用不上以上三种方式。所以我想问问各位老师，有没有一种办法可以直接在Table上设置某个字段为事件事件，并且设置水印？ 另外说明，我的第一版代码是将Table转换为DataSteam，然后再设置水印和窗口，但是执行转换过程非常耗时，并且在源码中

Re: [ANNOUNCE] Apache Flink Kubernetes Operator 1.5.0 released

退订 Maximilian Michels 于2023年5月23日周二 10:12写道： > Niceee. Thanks for managing the release, Gyula! > > -Max > > On Wed, May 17, 2023 at 8:25 PM Márton Balassi > wrote: > > > > Thanks, awesome! :-) > > > > On Wed, May 17, 2023 at 2:24 PM Gyula Fóra wrote: > >> > >> The Apache Flink community is

退订

退订 | | 梁猛 | | cdt...@163.com |

Re: [ANNOUNCE] Apache Flink Kubernetes Operator 1.5.0 released

Niceee. Thanks for managing the release, Gyula! -Max On Wed, May 17, 2023 at 8:25 PM Márton Balassi wrote: > > Thanks, awesome! :-) > > On Wed, May 17, 2023 at 2:24 PM Gyula Fóra wrote: >> >> The Apache Flink community is very happy to announce the release of Apache >> Flink Kubernetes

??????table api????rowtime??????

?? | {"ip":"10.125.8.111","data":": -- 14:28:05.111 --

??????table api????rowtime??????

?? 1 2 ??debug??;

Re: 提问

(1)可以检查下是不是其他作业或者同步工具使用了对应的server-id (2) server-id 可以尝试用机器IP+时间戳来生成，这样能尽可能避免冲突 祝好， 雪尽 > On May 22, 2023, at 3:34 PM, 曹明勤 wrote: > >

提问

在我提交的flink-cdc-mysql的任务中，需要flink同步多张表的数据，但是我遇到了server-id重复的问题。我尝试过设置随机数，但是server-id有一定的取值范围，并且随机数还是有可能重复。官方文档建议我将server-id设置为一个范围，比如5400-6400，并且设置flink的并行度。这些我都做了，但是当我同步表的数量较多时，还是会出现server-id重复的问题导致任务提交失败。我需要如何设置才能如何避免这种错误？ In the Flinks-cdc-mysql task I submitted, flink was required to

??????table api????rowtime??????

flink1.14 | | | | ccc0606fight...@163.com | | ?? | L Y<531599...@qq.com.INVALID> | | | 2023??5??20?? 01:10 | | ?? | user-zh | | | ??table apirowtime?? | HI??

??????table api????rowtime??????

??midStream | //6 StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); //1?? ?? ??

table.exec.source.cdc-events-duplicate参数问题

mysql binlog 操作记录发到 kafka topic 中，消息格式是canal json，现通过flink sql实时同步写入另一个mysql库。今天发现实时作业抛错说写入mysql时遇到duplicate key error，查了一下发现是kafka topic中存在两条相同的消息，即相同主键且都是INSERT操作的消息。请问这种情况有什么办法可以避免作业出错吗？ 查了官方文档说要在作业中添加参数 table.exec.source.cdc-events-duplicate

Re: 使用flink sql创建版本视图无法正常使用

Hi, 你邮件里的图片无法显示，也没办法看到具体的错误信息 Best, Shammon FY On Thu, May 18, 2023 at 10:15 AM arkey w wrote: > flink版本：1.14.5 > 在项目使用版本表时，准备使用版本视图，但创建后无法正常使用。后根据官网提供的示例（ Versioned Tables | Apache Flink >

使用flink sql创建版本视图无法正常使用

flink版本：1.14.5 在项目使用版本表时，准备使用版本视图，但创建后无法正常使用。后根据官网提供的示例（ Versioned Tables | Apache Flink ）进行验证也同样无法使用，创建sql如下： 创建事实表： [image: image.png] 创建版本视图： [image: image.png] [image: image.png] Temporal

Re: [ANNOUNCE] Apache Flink Kubernetes Operator 1.5.0 released

Thanks, awesome! :-) On Wed, May 17, 2023 at 2:24 PM Gyula Fóra wrote: > The Apache Flink community is very happy to announce the release of Apache > Flink Kubernetes Operator 1.5.0. > > The Flink Kubernetes Operator allows users to manage their Apache Flink > applications and their lifecycle

[ANNOUNCE] Apache Flink Kubernetes Operator 1.5.0 released

The Apache Flink community is very happy to announce the release of Apache Flink Kubernetes Operator 1.5.0. The Flink Kubernetes Operator allows users to manage their Apache Flink applications and their lifecycle through native k8s tooling like kubectl. Release highlights: - Autoscaler

flink sql case when 中文数据写入doris出现乱码

使用flink sql写mysql表数据到doris表，发现case when语句判断交易类型使用了中文，写入后在doris查出是乱码，而mysql其他中文字段写入是正确的，想问一下这个sql中出现的乱码问题要解决？

table api定义rowtime未生效

各位老师好，以下是我的代码： | Table midTable = tableEnv.fromDataStream(midStream, $("funcId"), $("funcIdDesc"), $("serverIp"), $("maxTime"), $("minTime"), $("pk"), $("eventTime").rowtime()); tableEnv.createTemporaryView("midTable1",midTable); Table resulTable = tableEnv.sqlQuery("SELECT

回复： 回复：报错显示为bug

好滴呀 谢谢各位老师 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | Shammon FY | | 发送日期 | 2023年5月16日 08:46 | | 收件人 | , | | 主题 | Re: 回复：报错显示为bug | Hi, 从错误上看应该是你作业里某个字符串字段被作为时间戳处理，导致作业codegen失败了。你的作业逻辑比较复杂，你可以排查一下跟时间相关的字段，检查一下字段类型处理是否正确，比如eventTime字段 Best, Shammon FY On Mon, May 15,

Re: 回复：报错显示为bug

Hi, 从错误上看应该是你作业里某个字符串字段被作为时间戳处理，导致作业codegen失败了。你的作业逻辑比较复杂，你可以排查一下跟时间相关的字段，检查一下字段类型处理是否正确，比如eventTime字段 Best, Shammon FY On Mon, May 15, 2023 at 7:29 PM lxk wrote: > 你好，从报错来看是类型不兼容导致的。 > Caused by: org.codehaus.commons.compiler.CompileException: Line 17, Column > 103: Cannot cast

Re:Re: Flink提交作业是否可以跳过上传作业jar包这一步？

Application Mode没有这个问题，现在是Session Mode提交作业会遇到这个问题 ./bin/flink run -m localhost:8081 ./examples/streaming/TopSpeedWindowing.jar 后面这个作业TopSpeedWindowing.jar包可以使用hdfs/oss路径指定吗？如果是分布式文件路径的话是不是就不用上传作业jar包到jobManager了，而是由jobManager自行下载？ 在 2023-05-15 19:27:21，"shimin huang" 写道：

Re:回复：报错显示为bug

你好，从报错来看是类型不兼容导致的。 Caused by: org.codehaus.commons.compiler.CompileException: Line 17, Column 103: Cannot cast "java.lang.String" to "java.time.LocalDateTime" 可以尝试对表结构进行优化，或者使用相关函数对字段类型进行转换 At 2023-05-15 18:29:15, "小昌同学" wrote: >| >package job; >import bean.BaseInfo; >import

Re: Flink提交作业是否可以跳过上传作业jar包这一步？

可以考虑基于flink-kubernetes依赖下的KubernetesClusterDescriptor来启动任务，可以参考https://github.com/collabH/flink-deployer/blob/main/infrastructure/src/main/java/com/flink/plugins/inf/deployer/KubernetesClusterDeployer.java > 2023年5月15日 19:21，casel.chen 写道： > > 我们开发了一个实时计算平台提交flink >

Flink提交作业是否可以跳过上传作业jar包这一步？

我们开发了一个实时计算平台提交flink sql作业到k8s上运行，发现每次提交作业都需要上传平台sql作业jar包flinksql.jar，因为这个jar包包含了平台用到的所有connector和format，所以flinksql.jar这个fat

StreamTable Environment initialized failed -- "Could not find any factories that implement 'org.apache.flink.table.delegation.ExecutorFactory' in the classpath"

Hi  ALL, OS:   CentOS 7.9 Flink version:  1.16.0 It looks like  I'm hitting a  notorious exception which had been discoverd since earlier fink version.  The issue was triggered when below java code executed:    StreamTableEnvironment tEnv = StreamTableEnvironment.create(env); More

回复：报错显示为bug

| package job; import bean.BaseInfo; import bean.MidInfo; import bean.OutInfo; import bean.ResultInfo; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import config.FlinkConfig; import function.MyProcessFunction; import org.apache.flink.api.common.functions.MapFunction;

Re:报错显示为bug

你好，可以把相关代码贴上来吗，方便大家进行分析。如果使用sql的话还可以把执行计划贴上来。 在 2023-05-15 17:11:42，"小昌同学" 写道： >各位老师，请教一下我在使用table API进行编程的时候，报错信息为”Caused by: >org.apache.flink.api.common.InvalidProgramException: Table program cannot be >compiled. This is a bug. Please file an issue. “

报错显示为bug

各位老师，请教一下我在使用table API进行编程的时候，报错信息为”Caused by: org.apache.flink.api.common.InvalidProgramException: Table program cannot be compiled. This is a bug. Please file an issue. “ flink使用版本为1.14，请问一下有相关社区的技术人员可以进行对接吗，还是怎么操作 | | 小昌同学 | | ccc0606fight...@163.com |

Re:Re: Re: Flink广播流状态清理策略不生效

好的，感谢 在 2023-05-15 15:49:12，"Hangxiang Yu" 写道： >Hi, 可以参考这个 Ticket ，就是讨论要给 Broadcast State 加 TTL 的，当时应该没有继续深入讨论： >https://issues.apache.org/jira/browse/FLINK-13721 >方便的话你可以在 Ticket 下面也分享下你的使用场景、观察到的现象吗？也可以在 Ticket 下 Vote for this issue. >我这边也会帮忙一起看下 > >On Mon, May 15, 2023 at 1:41 

Re: Re: Flink广播流状态清理策略不生效

Hi, 可以参考这个 Ticket ，就是讨论要给 Broadcast State 加 TTL 的，当时应该没有继续深入讨论： https://issues.apache.org/jira/browse/FLINK-13721 方便的话你可以在 Ticket 下面也分享下你的使用场景、观察到的现象吗？也可以在 Ticket 下 Vote for this issue. 我这边也会帮忙一起看下 On Mon, May 15, 2023 at 1:41 PM lxk wrote: > 这么看来，广播流好像不适合在生产中使用，状态会无限止的增长。这块官方有计划增加ttl功能吗。 >

Re:Re: Flink广播流状态清理策略不生效

这么看来，广播流好像不适合在生产中使用，状态会无限止的增长。这块官方有计划增加ttl功能吗。 或者使用广播流的时候有没有什么能够手动清理状态的方法？ 在 2023-05-15 11:28:54，"Hangxiang Yu" 写道： >Hi, 目前像 Broadcast state 这种 Operator State 应该是不支持 TTL 设置的，可以参考这里

Re: Flink广播流状态清理策略不生效

Hi, 目前像 Broadcast state 这种 Operator State 应该是不支持 TTL 设置的，可以参考这里 对 State TTL 的描述； On Mon, May 15, 2023 at 11:05 AM lxk wrote: > flink版本:1.14 >

Flink广播流状态清理策略不生效

flink版本:1.14 目前使用的是对一个数据量比较小的流进行广播，另外的主流跟这个广播流进行匹配处理。 在主程序中，我设置了状态过期策略： SingleOutputStreamOperator baiduStream = env.addSource(adBaiduClick).map(data -> JSON.parseObject(data, AdvertiseClick.class)).name("BaiDuAdClick"); MapStateDescriptor baiduInfoMap = new

Re: flink 状态设置

Hi, "如果不对于状态进行管理，后续程序会出现问题"是指状态会变得太大？如果是这样，可以在group by的字段里增加一个天级的时间戳，这样就不会由于key被更新导致的状态过期失效问题 Best, Shammon FY On Fri, May 12, 2023 at 1:59 PM 小昌同学 wrote: > 各位老师好，我这边使用的flink sql是" > select funcId,funcIdDesc,serverIp,cast(min(maxTime-minTime) as > varchar(200)) as minTime,pk from > ( >

回复：Flink SQL CEP如何处理双（多）流输入？

双流join？ 回复的原邮件 | 发件人 | casel.chen | | 发送日期 | 2023年05月12日 11:52 | | 收件人 | user-zh@flink.apache.org | | 主题 | Flink SQL CEP如何处理双（多）流输入？ | 请问Flink SQL CEP只能处理单流输入吗？网上看到的例子都是在同一个输入流中进行CEP处理，有没有双（多）输入流下使用CEP处理的例子？谢谢！

flink 状态设置

各位老师好，我这边使用的flink sql是" select funcId,funcIdDesc,serverIp,cast(min(maxTime-minTime) as varchar(200)) as minTime,pk from ( select a.funcId as funcId , a.funcIdDesc as funcIdDesc, a.serverIp as serverIp, b.outTime as maxTime, a.outTime as minTime, concat(a.funcId,a.serverIp) as pk

Flink SQL CEP如何处理双（多）流输入？

请问Flink SQL CEP只能处理单流输入吗？网上看到的例子都是在同一个输入流中进行CEP处理，有没有双（多）输入流下使用CEP处理的例子？谢谢！

Re: flink 1.13 partition.time-extractor.timestamp-pattern 格式

Hi, 就像上面文档描述的，如果是多个字段组合成partition，可以在DDL中通过partition.time- extractor.timestamp-pattern将多个字段按照自己的partition格式需求进行组装。 CREATE TABLE fs_table ( user_id STRING, order_amount DOUBLE, dt STRING, `hour` STRING ) PARTITIONED BY (dt, `hour`) WITH ( 'connector'='filesystem', 'path'='...',

[ANNOUNCE] Apache flink-connector-gcp-pubsub v3.0.1 released

The Apache Flink community is very happy to announce the release of Apache flink-connector-gcp-pubsub v3.0.1. This release is compatible with Flink 1.16.x and Flink 1.17.x Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate

[ANNOUNCE] Apache flink-connector-elasticsearch v3.0.1 released

The Apache Flink community is very happy to announce the release of Apache flink-connector-elasticsearch v1.0.1. This release is compatible with Flink 1.16.x and Flink 1.17.x Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and

[ANNOUNCE] Apache flink-connector-opensearch v1.0.1 released

The Apache Flink community is very happy to announce the release of Apache flink-connector-opensearch v1.0.1. This release is compatible with Flink 1.16.x and Flink 1.17.x Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate

[ANNOUNCE] Apache flink-connector-pulsar v4.0.0 released

The Apache Flink community is very happy to announce the release of Apache flink-connector-pulsar v4.0.0. This release is compatible with Flink 1.17.x Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming

[ANNOUNCE] Apache flink-shaded v17.0 released

The Apache Flink community is very happy to announce the release of Apache flink-shaded v17.0. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming applications. The release is available for download at:

[ANNOUNCE] Apache flink-connector-rabbitmq v3.0.1 released

The Apache Flink community is very happy to announce the release of Apache flink-connector-rabbitmq v3.0.1. This release is compatible with Flink 1.16.x and Flink 1.17.x Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate

回复： 不同的流程使用不同的并行度

好滴呀 谢谢各位老师指导 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | yidan zhao | | 发送日期 | 2023年4月21日 10:50 | | 收件人 | | | 主题 | Re: 不同的流程使用不同的并行度 | 从哪方面考虑，主要根据每个算子的工作复杂性，复杂性越高自然设置越高的并发好点。 其次实际运行时，也可以根据反压情况找到瓶颈进行调整。 Shammon FY 于2023年4月21日周五 09:04写道： Hi DataStream作业设置并发度有两种方式 1.

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org ,参考[1] [1] https://flink.apache.org/zh/community/ On Wed, May 10, 2023 at 1:38 AM Zhanshun Zou wrote: > 退订 >

flink 1.13 partition.time-extractor.timestamp-pattern ????

??hivedt='20200520',?? flinkSQL ??hive ??'-mm-dd hh:mm:ss' ??partition.time-extractor.timestamp-pattern 'mmdd hh:mm:ss'??flink??1.13

Re: 使用Flink SQL如何实现支付对帐超时告警？

Hi casel.chen, 我理解你的意思是： 希望在ThirdPartyPaymentStream一条数据达到的30分钟后，*再触发查询* ，如果此时该数据在PlatformPaymentStream中还未出现，说明超时未支付，则输入到下游。而不是等ThirdPartyPaymentStream数据达到时再判断是否超时，因为此时虽然超时达到，但是也算已支付，没必要再触发报警了。 如果是流计算，可以采用timer定时器延时触发。 对于sql, 我个人的一个比较绕的想法是（供参考，不一定对）：是通过Pulsar

Re: 使用Flink SQL如何实现支付对帐超时告警？

Hi 如果使用CEP，可以将两个流合并成一个流，然后通过subtype根据不同的事件类型来匹配，定义CEP的Pattern，例如以下这种 DataStream s1 = ...; DataStream s2 = ...; DataStream s = s1.union(s1)...; Pattern = Pattern.begin("first") .subtype(E1.class) .where(...) .followedBy("second") .subtype(E2.class) .where(...) 如果使用Flink

Re: Failed to initialize delegation token receiver s3

Hi，这个应该是FLINK-31839已经确定的ISSUE，在1.17.1中已经修复了，可以参考： https://issues.apache.org/jira/browse/FLINK-31839 On Sat, May 6, 2023 at 5:00 PM maker_d...@foxmail.com < maker_d...@foxmail.com> wrote: > flink version：flink-1.17.0 > k8s application模式模式 > > 已经在flink-conf中禁用delegation token： >

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org ,参考[1] [1] https://flink.apache.org/zh/community/ Best, Yuxin 胡家发 <15802974...@163.com> 于2023年5月7日周日 22:14写道： > 退订

使用Flink SQL如何实现支付对帐超时告警？

需求：业务端实现支付功能，需要通过第三方支付平台的交易数据采用Flink SQL来做一个实时对账，对于超过30分钟内未到达的第三方支付平台交易数据进行告警。 请问这个双流实时对帐场景使用Flink CEP SQL要如何实现？ 网上找的例子都是基于单条流实现的，而上述场景会用到两条流，一个是PlatformPaymentStream，另一个是ThirdPartyPaymentStream。

退订

退订 The following is the content of the forwarded email From："胡家发" <15802974...@163.com> To：user-zh Date：2023-05-07 22:13:55 Subject：退订 退订

Re: 退订

Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh-unsubscr...@flink.apache.org , and you can refer[1][2] for more details. 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理邮件订阅。

退订

退订

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org ,参考[1] [1] https://flink.apache.org/zh/community/ Best, Junrui wangwei 于2023年5月7日周日 17:55写道： > 退订 > >

退订

退订

flink sql canal json格式侧输出parse error记录问题

线上使用flink sql消费kafka topic canal json格式数据，发现有一些数据中有的时间字段值为-00-00 00:00:00无法被解析，于是加了'canal-json.ignore-parse-errors = true' 参数，作业是能够正常运行了，但同时我们也希望知道哪些数据解析失败以便发给上游业务系统去自查。想问一下除了ignore外，有办法将这些parse error数据输出到另外一个kafka topic吗？谢谢！

Re:Re: CheckpointedFunction 与 KeyedState

谢了 在 2023-05-06 10:36:02，"Hangxiang Yu" 写道： >Hi, 在 initializeState 里初始化 State 是 OK 的，但是尽量不要在 initializeState 和 >snapshotState 里访问 KeyedState，最好是在实际的 Function 比如这里的 FlatMap 里； >原因是 KeyedState 的访问是和 Current Key 绑定的，实际的 Function 在 Process 之前会隐式的 set >Current key ，因此是会保证每次 KeyedState 的操作是对确定的 KV 进行的；

Re: 退订

Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh-unsubscr...@flink.apache.org , and you can refer[1][2] for more details. 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理邮件订阅。

Re: streaming.api.operators和streaming.runtime.operators的区别是啥？

我来谈一下我个人的看法，streaming.api.operators是提供给用户使用的stream api, 用户可以使用和扩展该接口。而streaming.runtime.operators是用户侧不感知，在执行时由flink自动调用的。比如: Sink用户可以自己设置，如kafkaSink。但是输出时的state处理和事务commit（CommitterOperator)是Flink根据不同类型的Sink自动生成的统一逻辑，用户无需自己设置和实现。 Best Hongshun On Sat, May 6, 2023 at 11:57 AM yidan zhao wrote:

退订

退订

退订

streaming.api.operators和streaming.runtime.operators的区别是啥？

如题，想知道这个分类的标准是啥呢？

Re: CheckpointedFunction 与 KeyedState

Hi, 在 initializeState 里初始化 State 是 OK 的，但是尽量不要在 initializeState 和 snapshotState 里访问 KeyedState，最好是在实际的 Function 比如这里的 FlatMap 里； 原因是 KeyedState 的访问是和 Current Key 绑定的，实际的 Function 在 Process 之前会隐式的 set Current key ，因此是会保证每次 KeyedState 的操作是对确定的 KV 进行的； 而 initializeState 和 snapshotState 里是没有框架隐性 set

CheckpointedFunction 与 KeyedState

CheckpointedFunction 接口的 initializeState 方法提供了访问 FunctionInitializationContext 的能力，而 FunctionInitializationContext 不仅提供了访问 OperatorStateStore 的能力，也提供了 KeyedStateStore 的能力。一般常见的是通过 CheckpointedFunction 来实现操作 OperatorState，但是也可以通过如下代码来获取 KeyedState： ```java

退订

退订

退订

刘晶 John Liu DBA 藤蔓技术部 Tenvine Technical Department 深圳市南山区高新科技园科技中三路科兴科学园B4-712 邮编 518052 Mobile: 18820970747

Re: flink issue可以登录，但是flink中文邮箱账号密码错误，是出现什么原因了嘛

> > flink issue可以登录 这个是jira账号吗？ flink中文邮箱账号密码 什么是flink中文邮箱账号 ?有无登陆页面链接 On Wed, Apr 19, 2023 at 11:36 AM kcz <573693...@qq.com.invalid> wrote: > 请帮忙看看是我哪里出问题了嘛？我的账号是kcz。我想咨询大佬flink avro的问题 > > > > > kcz > 573693...@qq.com > > > >

Re: 退订

Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh-unsubscr...@flink.apache.org , and you can refer[1][2] for more details. 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理邮件订阅。

Re: 退订

Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh-unsubscr...@flink.apache.org , and you can refer[1][2] for more details. 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理邮件订阅。

Re: 退订

Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh-unsubscr...@flink.apache.org , and you can refer[1][2] for more details. 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理邮件订阅。 On

Re: 退订

如果需要取消订阅 u...@flink.apache.org 和 d...@flink.apache.org 邮件组，请发送任意内容的邮件到 user-unsubscr...@flink.apache.org 和 dev-unsubscr...@flink.apache.org ,参考[1] [1] https://flink.apache.org/zh/community/ On Fri, May 5, 2023 at 3:24 PM wuzhongxiu wrote: > 退订 > > > > | | > go574...@163.com > | > | >

退订

退订 | | go574...@163.com | | 邮箱：go574...@163.com | 回复的原邮件 | 发件人 | willluzheng | | 日期 | 2023年05月05日 15:22 | | 收件人 | user-zh@flink.apache.org | | 抄送至 | | | 主题 | 退订 | 退订

退订

退订

退订

Re: checkpoint Kafka Offset commit failed

Hi 看起来像是网络问题导致flink作业source节点连接kafka失败，可以检查一下kafka集群的网络或者flink作业source节点的网络是否有问题 Best, Shammon FY On Fri, May 5, 2023 at 9:41 AM Leonard Xu wrote: > 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 > user-zh@flink.apache.org 邮件列表的邮件，邮件列表的订阅管理，可以参考[1] > > 祝好， > Leonard > [1] >

Re: checkpoint Kafka Offset commit failed

可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件列表的邮件，邮件列表的订阅管理，可以参考[1] 祝好， Leonard [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 > 2023年5月4日 下午9:00，wuzhongxiu 写道： > > 退订 > > > > | | > go574...@163.com > | > | >

flink1.10.1版本，读取日志目录问题

请问下 flink如何监控并实时读取远程服务器的日志目录中所有日志文件内容 日志服务器(可以ssh连接，IP/用户名/密码)

回复：checkpoint Kafka Offset commit failed

退订 | | go574...@163.com | | 邮箱：go574...@163.com | 回复的原邮件 | 发件人 | zhan...@eastcom-sw.com | | 日期 | 2023年05月04日 14:54 | | 收件人 | user-zh | | 抄送至 | | | 主题 | checkpoint Kafka Offset commit failed | hi，请问在flink(1.14、1.16) checkpoint（10s）提交 kafka偏移量提示 The coordinator is not available

Re: 退订

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org ,参考[1] [1] https://flink.apache.org/zh/community/ > 2023年4月21日 上午10:52，琴师 <1129656...@qq.com.INVALID> 写道： > > 退订 > > > 琴师 > 1129656...@qq.com > > > >

Re: Flink 误报checkpoint失败

hi, 扩缩容会重启作业，在作业重启期间，job manager 先启动了，还有部分task manager没启动就有可能报“Not all required tasks are currently running..”的错误，作业的所有task完全启动后这个错误就会消失。 Best, Yanfei Chen Yang 于2023年5月4日周四 09:44写道： > > 您好， > > 我的 Flink job是以 reactive 模式运行，然后用了 Kubernetes HPA 来自动扩容/缩容 > TaskManager。每当TaskManager >

Flink 误报checkpoint失败

您好， 我的 Flink job是以 reactive 模式运行，然后用了 Kubernetes HPA 来自动扩容/缩容 TaskManager。每当TaskManager 扩容/缩容的时候，Flink会在日志中报错：因为扩缩容之前的TaskManager没有在运行导致checkpoint失败，同时也有checkpoint失败的警报。 但实际上checkpoint 还能顺利进行， job也没有运行错误。 重启job后这个错误就会消失。想请教一下如何修复这个问题？ 详细的日志如下 2022-12-13 05:08:22.339 [jobmanager-io-thread-1] INFO

退订

退订

Re: sql查询数据库不走索引

Hi 你使用的是flink-connector-jdbc 3.0.0-1.16版本吧？需要使用3.0.0-1.17，不过目前应该还没有release，你可以关注下 On Wednesday, April 26, 2023, 杨扬 wrote: > 各位大佬好！ > 目前升级到了flink1.17+jdbc-3.0，经过测试依然没有实现谓词下推，想请教下这是为什么？ > > > > > > 在 2022年12月5日，下午3:05，rovo98 写道： > > > > 你好，请留意您使用的 flink 版本。在 flink 1.17, jdbc-3.0.0

Re: sql查询数据库不走索引

各位大佬好！ 目前升级到了flink1.17+jdbc-3.0，经过测试依然没有实现谓词下推，想请教下这是为什么？ > 在 2022年12月5日，下午3:05，rovo98 写道： > > 你好，请留意您使用的 flink 版本。在 flink 1.17, jdbc-3.0.0 版本之前，jdbc connector 没有实现 > SupportsFilterPushDown 接口（谓词下推），所以发送至数据库的查询是 select xxx from table_name > 的全表扫描形式。 > > > 如有需要可参考 FLINK-16024

回复： 关于Apache Flink源码贡献流程

Hi, Jing Ge, 原来如此，非常感谢你的帮助和建议 Best regards, tanjialiang. 回复的原邮件 | 发件人 | Jing Ge | | 发送日期 | 2023年4月25日 13:45 | | 收件人 | | | 主题 | Re: 关于Apache Flink源码贡献流程 | Hi tanjianliang, 你说的英文讨论邮件是这个吧[1]? 建议以后讨论涉及到邮件引用时都带上链接，方便大家理解上下文。 结合邮件以及Jira里面的回复，你可以写好FLIP[2]之后再来发起新的讨论。 Best regards, Jing

Re: 关于Apache Flink源码贡献流程

Hi tanjianliang, 你说的英文讨论邮件是这个吧[1]? 建议以后讨论涉及到邮件引用时都带上链接，方便大家理解上下文。 结合邮件以及Jira里面的回复，你可以写好FLIP[2]之后再来发起新的讨论。 Best regards, Jing [1] https://lists.apache.org/thread/3yzvo6mynj637v2z10s895t7hhmv4rjd [2] https://cwiki.apache.org/confluence/display/FLINK/Flink+Improvement+Proposals On Mon, Apr 24,

退订

退订 | | 15901500...@163.com | | 邮箱：15901500...@163.com |

回复： 关于Apache Flink源码贡献流程

Hi, Shammon FY, 感谢你的帮助，我想我缺少了FLIP，我会补上再发起一次讨论 Best regards, tanjialiang. 回复的原邮件 | 发件人 | Shammon FY | | 发送日期 | 2023年4月25日 10:12 | | 收件人 | , | | 主题 | Re: 关于Apache Flink源码贡献流程 | Hi tanjialiang

Re: 关于Apache Flink源码贡献流程

Hi tanjialiang `EncodingFormat`和`DecodingFormat`是PublicEvolving接口，你可以在 https://cwiki.apache.org/confluence/display/FLINK/Flink+Improvement+Proposals 创建一个FLIP，然后在dev邮件组发起FLIP讨论；完成讨论后发起FLIP投票，投票通过后可以在对应的issue上提交PR Best, Shammon FY On Mon, Apr 24, 2023 at 5:10 PM tanjialiang wrote: > Hi, Jing Ge

<    3   4   5   6   7   8   9   10   11   12   >