Hello!
I have a Flink Job with CEP pattern.
Pattern example:
// Strict Contiguity
// a b+ c d e
Pattern.begin("a", AfterMatchSkipStrategy.skipPastLastEvent()).where(...)
.next("b").where(...).oneOrMore()
.next("c").where(...)
升级到 flink 1.18.1 ，任务重启状态恢复的话，遇到如下报错：
2024-04-09 13:03:48
java.lang.Exception: Exception while creating StreamOperatorStateContext.
at
org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.streamOperatorStateContext(StreamTaskStateInitializerImpl.java:258
Hi,
> 现在可以用中文了？
我看你发的是中文答疑邮箱
> 就是opt目录里面的gateway.jar直接编辑Factory文件把connector注册就行了
你的意思是，之前报错类似"找不到一个jdbc
connector"，然后直接在gateway的jar包里的META-INF/services内的Factory文件（SPI文件）内加入jdbc
connector的Factory实现类就好了吗？
如果是这个问题就有点奇怪，因为本身flink-connector-jdbc的spi文件就已经将相关的类写进去了[1]，按理说放
>
>
>
>
> [1] https://issues.apache.org/jira/projects/FLINK/summary
>
>
>
>
> --
>
>Best！
>Xuyang
>
>
>
>
>
>> 在 2024-05-10 12:26:22，abc15...@163.com 写道：
>> I've solved it. You need to register the number of connections in
Hi,
我觉得如果只是从贡献的角度来说，支持flink hologres
connector是没问题的，hologres目前作为比较热门的数据库，肯定是有很多需求的，并且现在aliyun
github官方也基于此提供了开源的flink hologres connector[1]。
但是涉及到aliyun等公司商业化的ververica-connector-hologres包，如果想直接开源的话，在我的角度最好事先确认下面几点，不然可能会隐含一些法律风险
1. jar包的提供方（aliyun等公司）是否知情、且愿意开源，不然直接拿着商业化的东西给出来有
Hi, 看起来你之前的问题是jdbc driver找不到，可以简单描述下你的解决的方法吗？“注册connection数的数量”有点不太好理解。
如果确实有类似的问题、并且通过这种手段解决了的话，可以建一个improvement的jira issue[1]来帮助社区跟踪、改善这个问题，感谢！
[1] https://issues.apache.org/jira/projects/FLINK/summary
--
Best！
Xuyang
在 2024-05-10 12:26:22，abc15...@163.com 写道：
>I
我们有使用阿里云商业版Hologres数据库，同时我们有自研的Flink实时计算平台，为了实现在Hologres上实时建仓，我们基于开源Apache
Flink 1.17.1结合阿里云maven仓库的ververica-connector-hologres包[1]和开源的holo
client[2]开发了hologres
connector，修复了一些jar依赖问题。目前我们已经在生产环境使用了一段时间，暂时没有发现问题，现在想将它贡献给社区。
请问：
1. 贡献Flink Hologres连接器是否合规？
2. 如果合规的话，PR应该提到哪个项目代码仓库？
3. 还是说要像
退订
Replied Message
| From | abc15...@163.com |
| Date | 05/10/2024 12:26 |
| To | user-zh@flink.apache.org |
| Cc | |
| Subject | Re: use flink 1.19 JDBC Driver can find jdbc connector |
I've solved it. You need to register the number of connections in the jar of
gateway
or exists in
> it?
>
>
>
>
> --
>
>Best！
>Xuyang
>
>
>
>
>
> At 2024-05-09 17:48:33, "McClone" wrote:
>> I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not
>> find jdbc connector,but use sql-client is normal.
Hi, can you print the classloader and verify if the jdbc connector exists in it?
--
Best！
Xuyang
At 2024-05-09 17:48:33, "McClone" wrote:
>I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not
>find jdbc connector,but use sql-client is normal.
如题
I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not
find jdbc connector,but use sql-client is normal.
以处理时间为升序，处理结果肯定不会出现回撤的，因为往后的时间不会比当前时间小了，你可以在试试这个去重
On Tue, Apr 30, 2024 at 3:35 PM 焦童 wrote:
> 谢谢你的建议 但是top-1也会产生回撤信息
>
> > 2024年4月30日 15:27，ha.fen...@aisino.com 写道：
> >
> > 可以参考这个
> >
> https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/de
谢谢你的建议 但是top-1也会产生回撤信息
> 2024年4月30日 15:27，ha.fen...@aisino.com 写道：
>
> 可以参考这个
> https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/dev/table/sql/queries/deduplication/
> 1.11版本不知道是不是支持
>
> From: 焦童
> Date: 2024-04-30 11:25
> To: user-zh
> Subjec
Hello ,
我使用Flink 1.11 版本 sql 进行数据去重（通过 group by
形式）但是这会产生回撤流，下游存储不支持回撤流信息仅支持append，在DataStream
中我可以通过状态进行去重，但是在sql中如何做到去重且不产生回撤流呢。谢谢各位
Hi Team，
我们这边的业务使用 Flink MySQL CDC到 OpenSearch并且使用TABLE API： INSERT INTO t1 SELECT *
FROM t2 这种方式。
由于我们这边可能会在运行过程中添加额外的Operator，我们有办法在使用snapshot 恢复后保留之前src和sink
operator的状态么？我看到在DataStream API可以通过设定uid。Table API有同样的方法吗？我看到Flink
jira：https://issues.apache.org/jira/browse/FLINK-28861
可以设置
流模式和批模式在watermark和一些算子语义等方面上有一些不同，但没看到Join和Window算子上有什么差异，这方面应该在batch
mode下应该是支持的。具体的两种模式的比较可以看一下这个文档
https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/datastream/execution_mode/
On Thu, Apr 18, 2024 at 9:44 AM casel.chen wrote:
>
> 有人尝试这么实践过么？可以给一些
我最近在调研Flink实时数仓数据质量保障，需要定期（每10/20/30分钟）跑批核对实时数仓产生的数据，传统方式是通过spark作业跑批，如Apache
DolphinScheduler的数据质量模块。
但这种方式的最大缺点是需要使用spark sql重写flink sql业务逻辑，难以确保二者一致性。所以我在考虑能否使用Flink流批一体特性，复用flink
sql，只需要将数据源从cdc或kafka换成hologres或starrocks表，再新建跑批结果表，最后只需要比较相同时间段内实时结果表和跑批结果表的数据即可。不过有几点疑问：
1. 原实时flink sql表定义中包含的
Hi, Perez.
Flink use SPI to find the jdbc connector in the classloader and when starting,
the dir '${FLINK_ROOT}/lib' will be added
into the classpath. That is why in AWS the exception throws. IMO there are two
ways to solve this question.
1. upload the connector jar to AWS to let
Hi all,
I am using AWS Managed Flink 1.18, where I am getting this error when trying to
submit my job:
```
Caused by: org.apache.flink.table.api.ValidationException: Cannot discover a
connector using option: 'connector'='jdbc
你好：
如果想长期保留已完成的任务，推荐使用 History Server :
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#history-server
Best,
Zhongqiang Gong
ha.fen...@aisino.com 于2024年4月9日周二 10:39写道：
> 在WEBUI里面，已完成的任务会在completed jobs里面能够看到，过了一会再进去看数据就没有了，是有什么配置自动删除吗？
>
有一个过期时间的配置
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#jobstore-expiration-time
| |
spoon_lz
|
|
spoon...@126.com
|
回复的原邮件
| 发件人 | ha.fen...@aisino.com |
| 发送日期 | 2024年04月9日 10:38 |
| 收件人 | user-zh |
| 主题 | flink 已完成job等一段时间会消失 |
在WEBUI里面，已完成的任
你好，目前flink cdc没有提供未消费binlog数据条数这样的指标，你可以通过 currentFetchEventTimeLag
这个指标（表示消费到的binlog数据中时间与当前时间延迟）来判断当前消费情况。
[1]
https://github.com/apache/flink-cdc/blob/master/flink-cdc-connect/flink-cdc-source-connectors/flink-connector-mysql-cdc/src/main/java/org/apache/flink/cdc/connectors/mysql/source
请问flink cdc对外有暴露一些监控metrics么？
我希望能够监控到使用flink cdc的实时作业当前未消费的binlog数据条数，类似于kafka topic消费积压监控。
想通过这个监控防止flink cdc实时作业消费慢而被套圈（最大binlog条数如何获取？）
Congratulations! Thanks Max for the release and all involved for the great
work!
A gentle reminder to users: the maven artifact has just been released and
will take some time to complete.
Best,
Rui
On Mon, Mar 25, 2024 at 6:35 PM Maximilian Michels wrote:
> The Apache Flink community is v
The Apache Flink community is very happy to announce the release of
the Apache Flink Kubernetes Operator version 1.8.0.
The Flink Kubernetes Operator allows users to manage their Apache
Flink applications on Kubernetes through all aspects of their
lifecycle.
Release highlights:
- Flink
Congrattulations! Thanks for the great work!
Best,
Zhongqiang Gong
Leonard Xu 于2024年3月20日周三 21:36写道：
> Hi devs and users,
>
> We are thrilled to announce that the donation of Flink CDC as a
> sub-project of Apache Flink has completed. We invite you to explore the new
> reso
gt;>
>> > > > >> Best,
>> > > > >> Lincoln Lee
>> > > > >>
>> > > > >>
>> > > > >> Peter Huang 于2024年3月20日周三 22:48写道：
>> > > > >>
>> > > > &g
t; > > >> Best,
> > > > >> Lincoln Lee
> > > > >>
> > > > >>
> > > > >> Peter Huang 于2024年3月20日周三 22:48写道：
> > > > >>
> > > > >>> Congratulations
> > > > >>>
>
; > >>> Best Regards
> > > >>> Peter Huang
> > > >>>
> > > >>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang
> > > wrote:
> > > >>>
> > > >>>>
> > > >>>&g
>>>
> > >>> Best Regards
> > >>> Peter Huang
> > >>>
> > >>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang
> > wrote:
> > >>>
> > >>>>
> > >>>> Congratulations
> > >>>>
;>>>> Best,
>>>>> Lincoln Lee
>>>>>
>>>>>
>>>>> Peter Huang 于2024年3月20日周三 22:48写道：
>>>>>
>>>>>> Congratulations
>>>>>>
>>>>>>
>>>>>> Best Regards
>>>>&
;>>
> > >>>
> > >>> Best Regards
> > >>> Peter Huang
> > >>>
> > >>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang
> > wrote:
> > >>>
> > >>>>
> > >>>> Cong
22:48写道：
> >>
> >>> Congratulations
> >>>
> >>>
> >>> Best Regards
> >>> Peter Huang
> >>>
> >>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang
> wrote:
> >>>
> >>>>
> >>>> Congratulat
gratulations
>>>>
>>>>
>>>> Best Regards
>>>> Peter Huang
>>>>
>>>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang wrote:
>>>>
>>>>>
>>>>> Congratulations
>>>>>
>>>>&g
;> Congratulations
>>>>
>>>>
>>>>
>>>> Best,
>>>> Huajie Wang
>>>>
>>>>
>>>>
>>>> Leonard Xu 于2024年3月20日周三 21:36写道：
>>>>
>>>>> Hi devs and users,
>>>>>
&
ang
>>
>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang wrote:
>>
>>>
>>> Congratulations
>>>
>>>
>>>
>>> Best,
>>> Huajie Wang
>>>
>>>
>>>
>>> Leonard Xu 于2024年3月20日周三 21:36写道：
>&
; Best,
>> Huajie Wang
>>
>>
>>
>> Leonard Xu 于2024年3月20日周三 21:36写道：
>>
>>> Hi devs and users,
>>>
>>> We are thrilled to announce that the donation of Flink CDC as a
>>> sub-project of Apache Flink has completed. We inv
Congratulations
Best,
Huajie Wang
Leonard Xu 于2024年3月20日周三 21:36写道：
> Hi devs and users,
>
> We are thrilled to announce that the donation of Flink CDC as a
> sub-project of Apache Flink has completed. We invite you to explore the new
> resources available:
>
> - Git
Hi devs and users,
We are thrilled to announce that the donation of Flink CDC as a sub-project of
Apache Flink has completed. We invite you to explore the new resources
available:
- GitHub Repository: https://github.com/apache/flink-cdc
- Flink CDC Documentation:
https://nightlies.apache.org
这种一般是因为APIServer那边有问题导致单次的ConfigMap renew lease annotation的操作失败，Flink默认会重试的
如果你发现因为这个SocketTimeoutException原因导致了任务Failover，可以把下面两个参数调大
high-availability.kubernetes.leader-election.lease-duration: 60s
high-availability.kubernetes.leader-election.renew-deadline: 60s
Best,
Yang
On Tue, Mar 12
Congrats and thanks all for the efforts!
Best Regards,
Yu
On Tue, 19 Mar 2024 at 11:51, gongzhongqiang wrote:
>
> Congrats! Thanks to everyone involved!
>
> Best,
> Zhongqiang Gong
>
> Lincoln Lee 于2024年3月18日周一 16:27写道：
>>
>> The Apache Flink community is v
Congrats! Thanks to everyone involved!
Best,
Zhongqiang Gong
Lincoln Lee 于2024年3月18日周一 16:27写道：
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series.
>
> Apache Flink® is an open-s
gt; Yu Chen
> >
> >
> > > 2024年3月19日 01:01，Jeyhun Karimov 写道：
> > >
> > > Congrats!
> > > Thanks to release managers and everyone involved.
> > >
> > > Regards,
> > > Jeyhun
> > >
> > > On Mon, Mar
Congratulations!
Thanks to release managers and everyone involved!
Best,
Yu Chen
> 2024年3月19日 01:01，Jeyhun Karimov 写道：
>
> Congrats!
> Thanks to release managers and everyone involved.
>
> Regards,
> Jeyhun
>
> On Mon, Mar 18, 2024 at 9:25 AM Lincoln Lee wr
m
> >> > > > >
> >> > > > > > 2024年3月18日 16:37，Samrat Deb 写道：
> >> > > > > >
> >> > > > > > Congratulations !
> >> > > > > >
> >> > > > > > On Mon, 18 M
Mon, 18 Mar 2024 at 2:07 PM, Jingsong Li
>> > > > > >
>> > > > > wrote:
>> > > > > >
>> > > > > >> Congratulations!
>> > > > > >>
>> > > > > >> On Mon, Mar 18, 2024 at 4:30 PM
t; > > > > >
> > > > > > On Mon, 18 Mar 2024 at 2:07 PM, Jingsong Li <
> jingsongl...@gmail.com>
> > > > > wrote:
> > > > > >
> > > > > >> Congratulations!
> > > > > >>
> > >
ratulations !
> > > > >
> > > > > On Mon, 18 Mar 2024 at 2:07 PM, Jingsong Li
> > > > wrote:
> > > > >
> > > > >> Congratulations!
> > > > >>
> > > > >> On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@
t 4:30 PM Rui Fan <1996fan...@gmail.com> wrote:
> > > >>>
> > > >>> Congratulations, thanks for the great work!
> > > >>>
> > > >>> Best,
> > > >>> Rui
> > > >>>
> > > >>> On Mon, Mar 18, 2
; > Congratulations!
>> >
>> > On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@gmail.com> wrote:
>> >>
>> >> Congratulations, thanks for the great work!
>> >>
>> >> Best,
>> >> Rui
>> >>
>> >>
月18日 下午4:32，Jingsong Li 写道：
> >
> > Congratulations!
> >
> > On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@gmail.com> wrote:
> >>
> >> Congratulations, thanks for the great work!
> >>
> >> Best,
> >> Rui
> >>
> >>
s for the great work!
>>
>> Best,
>> Rui
>>
>> On Mon, Mar 18, 2024 at 4:26 PM Lincoln Lee wrote:
>>>
>>> The Apache Flink community is very happy to announce the release of Apache
>>> Flink 1.19.0, which is the fisrt release for the Apac
2024 at 4:26 PM Lincoln Lee
> wrote:
>
> > The Apache Flink community is very happy to announce the release of
> Apache
> > Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19
> series.
> >
> > Apache Flink® is an open-source stream processing fram
Congratulations!
On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@gmail.com> wrote:
>
> Congratulations, thanks for the great work!
>
> Best,
> Rui
>
> On Mon, Mar 18, 2024 at 4:26 PM Lincoln Lee wrote:
>>
>> The Apache Flink community is very happy to a
Congratulations, thanks for the great work!
Best,
Rui
On Mon, Mar 18, 2024 at 4:26 PM Lincoln Lee wrote:
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series.
>
> Apache Flink® is an
The Apache Flink community is very happy to announce the release of Apache
Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series.
Apache Flink® is an open-source stream processing framework for
distributed, high-performing, always-available, and accurate data streaming
FLINK-34170 只是一个UI的展示问题，并不影响实际的运行。
JDBC Connector 维表下推的 filter 不生效问题，已经在 FLINK-33365 中修复了，最新的 JDBC
Connector 版本中已经带上了这个修复，你可以试一下~
casel.chen 于2024年3月15日周五 10:39写道：
>
> 我们最近在使用Flink 1.17.1开发flink sql作业维表关联使用复合主键时遇到FLINK-34170描述一样的问题，请问这个major
> issue什么时候在哪个版本后能够修复呢？谢谢！
>
>
&g
我们最近在使用Flink 1.17.1开发flink sql作业维表关联使用复合主键时遇到FLINK-34170描述一样的问题，请问这个major
issue什么时候在哪个版本后能够修复呢？谢谢！
select xxx from kafka_table as kt
left join phoenix_table FORSYSTEM_TIMEASOFphoenix_table.proctime as pt
on kt.trans_id=pt.trans_id and pt.trans_date =
DATE_FORMAT(CURRENT_TIMESTAMP,'MMdd
kcz
573693...@qq.com
比较好的提升写入吞吐的效果。不过在一些特殊情况下，比如如果你并发很高，单并发写入 QPS
极低，以致于单次攒批周期内甚至只有一两条消息，导致攒批效果差，打到 Kafka 写入瓶颈，那么降低并发可能反而能通过提升攒批效果的形式，配合写入压缩降低写入
Kafka 流量，提升写入吞吐。
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/kafka/#sink-partitioning
[2] https://www.cnblogs.com/huxi2b/p/12540092.html
比较简单的方式是启动一个filebeat进程，抓取 jobmanager.log 和t askmanager.log
Best,
Jiabao
kellygeorg...@163.com 于2024年3月13日周三 15:30写道：
> 有没有比较方便快捷的解决方案？
>
>
>
有没有比较方便快捷的解决方案？
您好：
flink将数据写入kafka【kafka为sink】，当kafka
topic分区数【设置的60】小于设置的并行度【设置的300】时，task是轮询写入这些分区吗，是否会影响写入效率？【是否存在遍历时的耗时情况】。
此时，如果扩大topic的分区数【添加至200，或者直接到300】，写入的效率是否会有明显的提升？
是否有相关的源码可以查看。
期待回复，祝好，谢谢！
有没有高手指点一二？？？在线等
回复的原邮件
| 发件人 | kellygeorg...@163.com |
| 日期 | 2024年03月11日 20:29 |
| 收件人 | user-zh |
| 抄送至 | |
| 主题 | flink operator 高可用任务偶发性报错unable to update ConfigMapLock |
jobmanager的报错如下所示，请问是什么原因？
Exception occurred while renewing lock:Unable to update ConfigMapLock
Caused
jobmanager的报错如下所示，请问是什么原因？
Exception occurred while renewing lock:Unable to update ConfigMapLock
Caused by:io.fabric8.kubernetes.client.Kubernetes Client
Exception:Operation:[replace] for kind:[ConfigMap] with name:[flink task
xx- configmap] in namespace:[default]
Caused
事实上是可行的。你可以直接修改 StreamExecutionEnvironment 的源码，默认给作业作业注册上一个你们定制的
listener，然后通过某种那个方式把这个信息透出来。在 FLIP-314 [1] 中，我们计划直接在 Flink 里原生提供一个这样的接口让你去注册自己的
listener 获取血缘信息，不过还没发布，可以先自己做。
[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-314:+Support+Customized+Job+Lineage+Listener
我们想修改源码 实现任意任务提交实时平台，初始化DAG的时候获取到血缘信息，StreamExecutionEnvironment注册 这种只能写在任务里
不满足需求
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2024年03月8日 18:23，Zhanghao Chen 写道：
你可以看下 OpenLineage 和 Flink 的集成方法 [1]，它是在 StreamExecutionEnvironment 里注册了一个
JobListener（通过这个可以拿到 JobClient 进而拿到 job id）。然后从
你可以看下 OpenLineage 和 Flink 的集成方法 [1]，它是在 StreamExecutionEnvironment 里注册了一个
JobListener（通过这个可以拿到 JobClient 进而拿到 job id）。然后从 execution environment 里可以抽取到
transformation 信息处理 [2]。
[1] https://openlineage.io/docs/integrations/flink/
[2]
https://github.com/OpenLineage/OpenLineage/blob/main
日 16:18，Zhanghao Chen 写道：
JobGraph 里有个字段就是 jobid。
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 14:14
To: user-zh@flink.apache.org
Subject: 回复： Flink DataStream 作业如何获取到作业血缘？
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务，好像不能获取到flinkJobId
| |
阿华田
JobGraph 里有个字段就是 jobid。
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 14:14
To: user-zh@flink.apache.org
Subject: 回复： Flink DataStream 作业如何获取到作业血缘？
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务，好像不能获取到flinkJobId
| |
阿华田
|
|
a15733178...@163.com
|
签名
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务，好像不能获取到flinkJobId
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2024年02月26日 20:04，Feng Jin 写道：
通过 JobGraph 可以获得 transformation 信息，可以获得具体的 Source 或者 Doris
Sink，之后再通过反射获取里面的 properties 信息进行提取。
可以参考 OpenLineage[1] 的实现.
1.
https://github.com
你好，我们用的是1.13.2和1.15.4版本的，看了下flink ui，这两种版本针对下面sql片段的lookup执行计划中的关联维表条件是一样的
在 2024-03-08 11:08:51，"Yu Chen" 写道：
>Hi iasiuide,
>方便share一下你使用的flink版本与jdbc connector的版本吗？据我所了解，jdbc
>connector在FLINK-33365[1]解决了lookup join条件丢失的相关问题。
>
>[1] https://issues.apache.org/jira
Hi iasiuide,
方便share一下你使用的flink版本与jdbc connector的版本吗？据我所了解，jdbc
connector在FLINK-33365[1]解决了lookup join条件丢失的相关问题。
[1] https://issues.apache.org/jira/browse/FLINK-33365
祝好~
> 2024年3月8日 11:02，iasiuide 写道：
>
>
>
>
> 图片可能加载不出来，下面是图片中的sql片段
> ..
&g
下面的sql片段中
ods_ymfz_prod_sys_divide_order 为kafka source表
dim_ymfz_prod_sys_trans_log 为mysql为表
dim_ptfz_ymfz_merchant_info 为mysql为表
flink web ui界面的执行计划片段如下：
[1]:TableSourceScan(table=[[default_catalog, default_database,
ods_ymfz_prod_sys_divide_order, watermark=[-(CASE(IS NULL
Hi， casel chan,
社区已经对增量框架实现动态加表（https://github.com/apache/flink-cdc/pull/3024
），预计3.1对mongodb和postgres暴露出来，但是Oracle和Sqlserver目前并没暴露，你可以去社区参照这两个框架，将参数打开，并且测试和适配。
Best,
Hongshun
Flink有一个端到端延迟的指标，可以参考以下文档[1]，看看是否有帮助。
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.18/zh/docs/ops/metrics/#end-to-end-latency-tracking
Best,
Shawn Huang
casel.chen 于2024年2月21日周三 15:31写道：
> flink sql作业从kafka消费mysql过来的canal
> json消息，经过复杂处理后写入doris，请问如何统计doris表记录的端到端时延？m
我在 Yanquan 的回答基础上补充下，通过 /jobs/:jobid/plan 实际上拿到的就是 JSON 表示的 JobGraph 信息（通过
JsonPlanGenerator 这个类生成，包含了绝大部分 jobgraph 里常用的信息），应该能满足你的需要
From: casel.chen
Sent: Saturday, March 2, 2024 14:17
To: user-zh@flink.apache.org
Subject: 根据flink job web url可以获取到JobGraph信息么
https://nightlies.apache.org/flink/flink-docs-master/docs/ops/rest_api/#jobs-jobid-plan
通过 /jobs/:jobid/plan 能获得 ExecutionGraph 的信息，不知道能不能包含你需要的信息。
casel.chen 于2024年3月2日周六 14:19写道：
> 正在运行的flink作业能够通过其对外暴露的web url获取到JobGraph信息么？
正在运行的flink作业能够通过其对外暴露的web url获取到JobGraph信息么？
Hi，casel.chen。
这个部分应该是在 CDC 项目里没有涉及到，CDC 依赖 debezium 的 engine 部分直接读取出变更数据，并没有像 debezium
本身一样去写入到 Kafka 中。
可以考虑去 Debezium 社区咨询一下这部分的内容，Debezium开发者们应该更熟悉这部分的内容。
祝好，
Hang
casel.chen 于2024年2月29日周四 18:11写道：
> 搜索了debezium源码但没有发现哪里有调用
> SchemaRegistryClient.register方法的地方，请问它是如何注册schema到confluent
搜索了debezium源码但没有发现哪里有调用
SchemaRegistryClient.register方法的地方，请问它是如何注册schema到confluent schema registry的？
图片没有显示出来。container 调度是由 yarn 控制的，yarn 会优先选择运行中的节点。按理说 container
不会调度到下线的节点，你通过 yarn web 或者 yarn node -list 确认了吗？
chenyu_opensource 于2024年2月27日周二 18:30写道：
> 你好，flink任务提交到yarn上，由于某个节点下线导致flink任务失败，如下：
>
> 同时重试超过次数，任务失败，如下图：
>
> 我想问一下，flink重试机制中
> 任务不会重新调度到新节点的container吗？为什么一直在同一
你好，flink任务提交到yarn上，由于某个节点下线导致flink任务失败，如下：
同时重试超过次数，任务失败，如下图：
我想问一下，flink重试机制中
任务不会重新调度到新节点的container吗？为什么一直在同一个节点从而导致整体任务失败。这个调度是由yarn控制还是flink自身代码控制的？如有相关代码也请告知，谢谢。
期待回复，谢谢!
通过 JobGraph 可以获得 transformation 信息，可以获得具体的 Source 或者 Doris
Sink，之后再通过反射获取里面的 properties 信息进行提取。
可以参考 OpenLineage[1] 的实现.
1.
https://github.com/OpenLineage/OpenLineage/blob/main/integration/flink/shared/src/main/java/io/openlineage/flink/visitor/wrapper/FlinkKafkaConsumerWrapper.java
Best
一个Flink DataStream 作业从mysql cdc消费处理后写入apache
doris，请问有没有办法(从JobGraph/StreamGraph)获取到source/sink connector信息，包括连接字符串、数据库名、表名等?
我理解可以参考 FLIP 中的设计， 基于 Prometheus Remote-Write API v1.0
<https://prometheus.io/docs/concepts/remote_write_spec/> 来初步实现一个
SinkFunction 实现写入 Prometheus
Best,
Feng
On Fri, Feb 23, 2024 at 7:36 PM 17610775726 <17610775...@163.com> wrote:
> Hi
> 参考官网，
> https://nightlies.apache
Hi
参考官网，https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/deployment/metric_reporters/#prometheuspushgateway
Best
JasonLee
回复的原邮件
| 发件人 | casel.chen |
| 发送日期 | 2024年02月23日 17:35 |
| 收件人 | user-zh@flink.apache.org |
| 主题 | Flink Prometheus Connector问题 |
场景：使用Flink实时生成指标
场景：使用Flink实时生成指标写入Prometheus进行监控告警
网上搜索到 https://github.com/apache/flink-connector-prometheus 项目，但内容是空的
另外找到FLIP-312 是关于flink prometheus
connector的，https://cwiki.apache.org/confluence/display/FLINK/FLIP-312%3A+Prometheus+Sink+Connector
请问Flink官方有没有出flink prometheus connector?
如果现在要实时写入prometheus
应该也够用了。
[1]
https://github.com/apache/flink/blob/e7e973e212d0ca04855af3036fc5b73888b8e0e5/flink-table/flink-table-runtime/src/main/java/org/apache/flink/table/runtime/operators/window/groupwindow/operator/WindowOperator.java#L314
--
Best！
Xuyang
在 2024-02-21 15:17:49，"casel.ch
flink sql作业从kafka消费mysql过来的canal
json消息，经过复杂处理后写入doris，请问如何统计doris表记录的端到端时延？mysql表有update_time字段代表业务更新记录时间。
doris系统可以在表schema新增一个更新时间列ingest_time，所以在doris表上可以通过ingest_time -
update_time算出端到端时延，但这种方法只能离线统计，有没有实时统计以方便实时监控的方法？
查了SinkFunction类的invoke方法虽然带有Context类型参数可以获取当前处理时间和事件时间，但因为大部分sink都是采用攒微批
st！
>Xuyang
>
>
>
>
>
>在 2024-02-20 19:38:44，"Feng Jin" 写道：
>>我理解不应该通过 rowData 获取， 可以通过 Context 获得 watermark 和 eventTime.
>>
>>Best,
>>Feng
>>
>>On Tue, Feb 20, 2024 at 4:35 PM casel.chen wrote:
>>
>>&g
g Jin" 写道：
>我理解不应该通过 rowData 获取， 可以通过 Context 获得 watermark 和 eventTime.
>
>Best,
>Feng
>
>On Tue, Feb 20, 2024 at 4:35 PM casel.chen wrote:
>
>> 请问flink sql中的自定义sink connector如何获取到source table中定义的event time和watermark?
>>
>>
>> public cl
我理解不应该通过 rowData 获取， 可以通过 Context 获得 watermark 和 eventTime.
Best,
Feng
On Tue, Feb 20, 2024 at 4:35 PM casel.chen wrote:
> 请问flink sql中的自定义sink connector如何获取到source table中定义的event time和watermark?
>
>
> public class XxxSinkFunction extends RichSinkFunction implements
> Check
请问flink sql中的自定义sink connector如何获取到source table中定义的event time和watermark?
public class XxxSinkFunction extends RichSinkFunction implements
CheckpointedFunction, CheckpointListener {
@Override
public synchronized void invoke(RowData rowData, Context context) throws
IOException
我们在使用flink搭建实时数仓，想知道flink作业是如何做数据质量监控告警的？包括数据及时性、完整性、一致性、准确性等
调研了spark streaming有amazon deequ和apache
griffin框架来实现，想知道flink作业有没有类似的DQC框架？最好是对原有作业无侵入或者少侵入。
如果没有的话，实时数据质量这块一般是如何实现的呢？
如果每个生产作业都要单独配置一个DQC作业是不是代价太高了？有没有通过metrics暴露数据质量信息的呢？
下面是deequ使用的示例，检查每个微批数据是否满足规则要求。我们也有类似的数据质量检查需求
The Apache Flink community is very happy to announce the release of
Apache flink-connector-kafka v3.1.0. This release is compatible with
Apache Flink 1.17 and 1.18.
Apache Flink® is an open-source stream processing framework for
distributed, high-performing, always-available, and accurate data
使用flink cdc 3.0
yaml作业进行mysql到doris整库同步时发现有数据倾斜发生，大的TM要处理180G数据，小的TM只有30G数据，上游有的大表流量很大，而小表几乎没有流量，有什么办法可以避免发生数据倾斜问题么？
我理解应该是平台统一配置在 flink-conf.yaml 即可， 不需要用户单独配置相关参数.
Best,
Feng
On Sun, Feb 4, 2024 at 11:19 AM 阿华田 wrote:
> 看了一下 这样需要每个任务都配置listener，做不到系统级的控制，推动下游用户都去配置listener比较困难
>
>
> | |
> 阿华田
> |
> |
> a15733178...@163.com
> |
> 签名由网易邮箱大师定制
>
>
> 在2024年02月2日 19:38，F
看了一下 这样需要每个任务都配置listener，做不到系统级的控制，推动下游用户都去配置listener比较困难
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2024年02月2日 19:38，Feng Jin 写道：
hi,
可以参考下 OpenLineage[1] 的实现， 通过 Flink 配置JobListener 拿到 Transformation 信息，然后解析
Source 和 Sink 拿到血缘信息。
[1]
https://github.com/OpenLineage/OpenLineage/blob
共有 8275 项搜索結果，以下是第 1 - 100 matches
Mail list logo
