我的实时作业项目想解析sql获取到TableIdentifier做sql血缘，使用的版本是flink 1.15.2，同时引入了
flink-table-planner_2.12 和 flink-table-planner-loader 依赖，debug时发现
TableEnvironmentImpl create(EnvironmentSettings settings) 方法会调用
FactoryUtil.discoverFactory(classLoader, ExecutorFactory.class,
Cool ~ Congrats!
Best Regards,
Shuo
On Mon, Mar 27, 2023 at 5:24 PM Yu Li wrote:
> Dear Flinkers,
>
>
> As you may have noticed, we are pleased to announce that Flink Table
> Store has joined the Apache Incubator as a separate project called
> Apache Paimon(incubating) [1] [2] [3]. The new
Congratulations!
Best,
Guowei
On Tue, Mar 28, 2023 at 12:02 PM Yuxin Tan wrote:
> Congratulations！
>
> Best,
> Yuxin
>
>
> Guanghui Zhang 于2023年3月28日周二 11:06写道：
>
>> Congratulations！
>>
>> Best,
>> Zhang Guanghui
>>
>> Hang Ruan 于2023年3月28日周二 10:29写道：
>>
>> > Congratulations!
>> >
>> >
Congratulations！
Best,
Yuxin
Guanghui Zhang 于2023年3月28日周二 11:06写道：
> Congratulations！
>
> Best,
> Zhang Guanghui
>
> Hang Ruan 于2023年3月28日周二 10:29写道：
>
> > Congratulations!
> >
> > Best,
> > Hang
> >
> > yu zelin 于2023年3月28日周二 10:27写道：
> >
> >> Congratulations!
> >>
> >> Best,
> >> Yu Zelin
Congratulations！
Best,
Zhang Guanghui
Hang Ruan 于2023年3月28日周二 10:29写道：
> Congratulations!
>
> Best,
> Hang
>
> yu zelin 于2023年3月28日周二 10:27写道：
>
>> Congratulations!
>>
>> Best,
>> Yu Zelin
>>
>> 2023年3月27日 17:23，Yu Li 写道：
>>
>> Dear Flinkers,
>>
>>
>>
>> As you may have noticed, we are
Congratulations!
Unlike other data-lakes, Paimon might be the first one to act as a stream-first
(not batch-first) data-lake.
Best
Yun Tang
From: Xianxun Ye
Sent: Tuesday, March 28, 2023 10:52
To: d...@flink.apache.org
Cc: Yu Li ; user ; user-zh
;
Congrats!
Thanks,
Biao /'bɪ.aʊ/
On Tue, 28 Mar 2023 at 10:29, Hang Ruan wrote:
> Congratulations!
>
> Best,
> Hang
>
> yu zelin 于2023年3月28日周二 10:27写道：
>
>> Congratulations!
>>
>> Best,
>> Yu Zelin
>>
>> 2023年3月27日 17:23，Yu Li 写道：
>>
>> Dear Flinkers,
>>
>>
>>
>> As you may have noticed, we
Congratulations!
Best,
Hang
yu zelin 于2023年3月28日周二 10:27写道：
> Congratulations!
>
> Best,
> Yu Zelin
>
> 2023年3月27日 17:23，Yu Li 写道：
>
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a separate project
Congratulations!
Best,
Yu Zelin
> 2023年3月27日 17:23，Yu Li 写道：
>
> Dear Flinkers,
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a separate project called Apache
> Paimon(incubating) [1] [2] [3]. The new project still aims
你好，我这边使用flink sql实现四条流的关联，后续实现case
when的逻辑，并且将数据插入到mysql，但是从结果数据来看，数据存在部分丢失，代码我粘贴再后面，麻烦各位老师指导，下面是sql【create
function get_json_value as 'com.nesc.flink.udf.GetJsonValue';
set 'table.exec.sink.not-null-enforcer'='drop';
测试环境
CREATE TABLE dm_cust_oact_prog_ri (
cust_id STRING COMMENT
Congratulations!
Best Regards,
Yanfei
ramkrishna vasudevan 于2023年3月27日周一 21:46写道：
>
> Congratulations !!!
>
> On Mon, Mar 27, 2023 at 2:54 PM Yu Li wrote:
>>
>> Dear Flinkers,
>>
>>
>> As you may have noticed, we are pleased to announce that Flink Table Store
>> has joined the Apache
Congratulations!
Best,
Weihua
On Mon, Mar 27, 2023 at 9:02 PM yuxia wrote:
> congratulations!
>
> Best regards,
> Yuxia
>
>
> 发件人: "Andrew Otto"
> 收件人: "Matthias Pohl"
> 抄送: "Jing Ge" , "Leonard Xu" , "Yu
> Li" , "dev" , "User" <
> u...@flink.apache.org>, "user-zh"
> 发送时间: 星期一, 2023年 3 月
congratulations!
Best regards,
Yuxia
发件人: "Andrew Otto"
收件人: "Matthias Pohl"
抄送: "Jing Ge" , "Leonard Xu" , "Yu Li"
, "dev" , "User"
, "user-zh"
发送时间: 星期一, 2023年 3 月 27日 下午 8:57:50
主题: Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache
Paimon(incubating)
Exciting!
Congratulations and good luck with pushing the project forward.
On Mon, Mar 27, 2023 at 2:35 PM Jing Ge via user
wrote:
> Congrats!
>
> Best regards,
> Jing
>
> On Mon, Mar 27, 2023 at 2:32 PM Leonard Xu wrote:
>
>> Congratulations!
>>
>>
>> Best,
>> Leonard
>>
>> On Mar 27, 2023, at 5:23 PM,
Congrats!
Am Mo., 27. März 2023 um 14:32 Uhr schrieb Leonard Xu :
> Congratulations!
>
>
> Best,
> Leonard
>
> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a
Congrats!
Best regards,
Jing
On Mon, Mar 27, 2023 at 2:32 PM Leonard Xu wrote:
> Congratulations!
>
>
> Best,
> Leonard
>
> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache
Congratulations!
Best,
Leonard
> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>
> Dear Flinkers,
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a separate project called Apache
> Paimon(incubating) [1] [2] [3]. The new
Dear Flinkers,
As you may have noticed, we are pleased to announce that Flink Table
Store has joined the Apache Incubator as a separate project called
Apache Paimon(incubating) [1] [2] [3]. The new project still aims at
building a streaming data lake platform for high-speed data ingestion,
Here are a few things I noticed from the 1.17 release retrospectively which
I want to share (other release managers might have a different view or
might disagree):
- Google Meet might not be the best choice for the release sync. We need to
be able to invite attendees even if the creator of the
感谢两位老师
在 2023-03-27 09:58:24，"Shengkai Fang" 写道：
>方勇老师说的没错。我们在文档里面也加了如何配置 hiveserver2 endpoint 的文档[1]
>
>[1]
>https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/hive-compatibility/hiveserver2/#setting-up
>
>Shammon FY 于2023年3月27日周一 08:41写道：
>
>> Hi
>>
>>
>>
方勇老师说的没错。我们在文档里面也加了如何配置 hiveserver2 endpoint 的文档[1]
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/hive-compatibility/hiveserver2/#setting-up
Shammon FY 于2023年3月27日周一 08:41写道：
> Hi
>
>
>
Hi
如果要启动hiveserver2协议的gateway，需要将jar包flink-connector-hive_${scala.binary.version}放入到gateway的lib目录
Best,
Shammon FY
On Sun, Mar 26, 2023 at 12:07 PM guanyq wrote:
> 本地启动了flink及hive在启动sql gateway时有以下异常，请问还需要其他什么操作么
> ./bin/sql-gateway.sh start-foreground
>
Hi
使用withTimestampAssigner只是定义了生成watermark消息的策略，不会影响数据流。超出指定时间的数据是否处理，可以在定义window的时候使用allowedLateness定义最晚的late
event，超出这个时间的窗口数据会直接丢弃
Best,
Shammon FY
On Sat, Mar 25, 2023 at 12:28 AM crazy <2463829...@qq.com.invalid> wrote:
> 大佬好，如下程序，flink在生成watermark策略中，forBoundedOutOfOrderness
>
本地启动了flink及hive在启动sql gateway时有以下异常，请问还需要其他什么操作么
./bin/sql-gateway.sh start-foreground -Dsql-gateway.endpoint.type=hiveserver2
-Dsql-gateway.endpoint.hiveserver2.catalog.hive-conf-dir=/usr/local/app/apache-hive-3.1.2-bin/conf
异常信息
Available factory identifiers are:
rest
at
flink-sql-connector-xx 都是uber jar, 不应该在项目中直接uber jar，你在项目中应该引入
flink-connector-xx 依赖并自己管理。
Best,
Leonard
> On Mar 25, 2023, at 3:25 PM, casel.chen wrote:
>
> 项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar
> 后启动过程中报如下异常，查了一下该jar下有oracle.xml.jaxp.JXDocumentBuilderFactory类，有什么办法解决么？
>
>
>
Thanks for the great work ! Congrats all!
Best,
Hang
Panagiotis Garefalakis 于2023年3月25日周六 03:22写道：
> Congrats all! Well done!
>
> Cheers,
> Panagiotis
>
> On Fri, Mar 24, 2023 at 2:46 AM Qingsheng Ren wrote:
>
> > I'd like to say thank you to all contributors of Flink 1.17. Your support
> >
项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar
后启动过程中报如下异常，查了一下该jar下有oracle.xml.jaxp.JXDocumentBuilderFactory类，有什么办法解决么？
ERROR StatusLogger Caught javax.xml.parsers.ParserConfigurationException
setting feature http://xml.org/sax/features/external-general-entities to false
on
Congrats all! Well done!
Cheers,
Panagiotis
On Fri, Mar 24, 2023 at 2:46 AM Qingsheng Ren wrote:
> I'd like to say thank you to all contributors of Flink 1.17. Your support
> and great work together make this giant step forward!
>
> Also like Matthias mentioned, feel free to leave us any
Hi,
现在不会过滤指标，可以尝试修改 PrometheusReporter 将不需要的 label 过滤掉
https://github.com/apache/flink/blob/master/flink-metrics/flink-metrics-prometheus/src/main/java/org/apache/flink/metrics/prometheus/AbstractPrometheusReporter.java#L104
需要注意这里的 key 的格式是 这种
Best,
Weihua
On Fri, Mar 24, 2023 at 2:47 PM
Hi
退订发送邮件到 user-zh-unsubscr...@flink.apache.org
On Fri, Mar 24, 2023 at 1:23 PM 孙冬燕 wrote:
> 退订
> --
> 发件人：小昌同学
> 发送时间：2023年3月24日(星期五) 13:22
> 收件人：user-zh
> 抄 送：user-zh
> 主 题：回复： flink写入mysql数据异常
> 好滴呀，谢谢您的建议；
>
>
使用prometheus监控flink
sql作业，发现没一会儿工夫就将prometheus内存(30GB)占满了，查了一下是因为作业指标名称过长导致的，像flink sql作业这种operator
name和task name默认是根据sql内容拼装的，一旦sql出现的列名很多就会导致指标名称过长。
请问这种情况Flink社区有什么建议？prometheus抓取的时候能够过滤掉吗？只保留operator_id和task_id。
要是自己想将现有拼装名称修改成哈希值的话应该改哪个类呢？谢谢！
退订
--
发件人：小昌同学
发送时间：2023年3月24日(星期五) 13:22
收件人：user-zh
抄 送：user-zh
主 题：回复： flink写入mysql数据异常
好滴呀，谢谢您的建议；
https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP#
好滴呀，谢谢您的建议；
https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP#
邀请你共同编辑文档《Flink SQL写入到mysql的问题》
我创建了一个语雀，我将代码以及问题都写在文档里了，麻烦大佬们帮忙看一下问题呀
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年3月24日 13:08 |
Hi
你可以将问题描述和sql放在一个外部文档，例如google文档，然后将文档连接发在邮件里
Best,
Shammon FY
On Fri, Mar 24, 2023 at 10:58 AM 孙冬燕
wrote:
> 退订
> --
> 发件人：小昌同学
> 发送时间：2023年3月24日(星期五) 10:57
> 收件人：user-zh
> 抄 送：user-zh
> 主 题：回复： flink写入mysql数据异常
> 您好，
退订
--
发件人：小昌同学
发送时间：2023年3月24日(星期五) 10:57
收件人：user-zh
抄 送：user-zh
主 题：回复： flink写入mysql数据异常
您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确；
您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下；
谢谢大佬的指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
|
您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确；
您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下；
谢谢大佬的指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Jane Chan |
| 发送日期 | 2023年3月23日 20:40 |
| 收件人 | |
| 主题 | Re: flink写入mysql数据异常 |
附件还是没有收到哦.
Flink SQL 支持 INSERT INTO table_identifier
退订请发送邮件到 user-zh-unsubscr...@flink.apache.org
On Wed, Mar 22, 2023 at 8:13 PM jianbo zhang wrote:
> 退订
>
附件还是没有收到哦.
Flink SQL 支持 INSERT INTO table_identifier (column_identifier1 [,
column_identifier2, ...]) 插入指定列, 具体语法可以参考 [1]
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
On Thu, Mar 23, 2023 at 5:35 PM 小昌同学 wrote:
>
Thanks for making this release getting over the finish line.
One additional thing:
Feel free to reach out to the release managers (or respond to this thread)
with feedback on the release process. Our goal is to constantly improve the
release process. Feedback on what could be improved or things
Excellent work! Congratulations! Appreciate the hard work and contributions
of everyone in the Apache Flink community who helped make this release
possible. Looking forward to those new features. Cheers!
Best regards,
Jing
On Thu, Mar 23, 2023 at 10:24 AM Leonard Xu wrote:
> The Apache Flink
您好，我刚刚重新上传了附件；是的，Flink
SQL已经支持了Upsert模式，但是这种更新都是行级别的更新，我想要实现仅仅只是变动一行数据中的部分字段。还望大佬指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Jane Chan |
| 发送日期 | 2023年3月23日 15:42 |
| 收件人 | |
| 主题 | Re: flink写入mysql数据异常 |
Hi,
没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的
The Apache Flink community is very happy to announce the release of Apache
Flink 1.17.0, which is the first release for the Apache Flink 1.17 series.
Apache Flink® is an open-source unified stream and batch data processing
framework for distributed, high-performing, always-available, and
Hi,
没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的 DDL 声明主键,
并且与数据库中物理表主键保持一致. 可以参考 [1].
[1]
https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
On Thu, Mar 23, 2023 at 2:54 PM 小昌同学 wrote:
>
大佬，你好，代码上传在附件中了；
就是我想实现flink sql写MySQL时能支持update吗 类似ON DUPLICATE KEY UPDATE 的语法？
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Jane Chan |
| 发送日期 | 2023年3月23日 14:23 |
| 收件人 | |
| 主题 | Re: flink写入mysql数据异常 |
可以把完整 SQL 发出来看看
祝好!
Jane
On Thu, Mar 23, 2023 at 1:39 PM 小昌同学
使用flink sql多表关联实时的将数据写入到mysql，mysql中定义了联合主键，查看日志发现为啥相同的数据插入到mysql表中，一条是insert
,另外一条是delete啊，我想实现的是upsert，这样该怎么操作啊
| |
小昌同学
|
|
ccc0606fight...@163.com
|
这个方法有效，多谢
在 2023-03-22 17:11:19，"Jane Chan" 写道：
>Hi,
>
>如回复所述, 如果不想切换版本, 在 1.15 上可以尝试手动 cast 'abc' 字段为 varchar 来绕过这个问题
>map ['msg_code','0', 'msg_reason', cast('abc' as string)]
>
>如果不想修改 SQL, 目前只能手动编译出 release-1.17 分支, 编译方法参考 [1]
>
>[1]
退订请发送邮件到 user-zh-unsubscr...@flink.apache.org
On Wed, Mar 22, 2023 at 8:13 PM jianbo zhang wrote:
> 退订
>
退订是发送邮件到 user-zh-unsubscr...@flink.apache.org 这个地址就可以了。
Best Regards,
Ran Tao
李朋 <1134415...@qq.com.invalid> 于2023年3月22日周三 20:10写道：
> 退订！
退订
试过了，不兼容，1.27.0都不兼容
在 2023-03-22 18:04:17，"tison" 写道：
>如果 calcite 层的接口不变，直接替换 jar 包或许也可行？不确定从 1.27 -> 1.29 有没有不兼容的情况。
>
>Best,
>tison.
>
>
>Jane Chan 于2023年3月22日周三 18:11写道：
>
>> Hi,
>>
>> 如回复所述, 如果不想切换版本, 在 1.15 上可以尝试手动 cast 'abc' 字段为 varchar 来绕过这个问题
>> map ['msg_code','0',
如果 calcite 层的接口不变，直接替换 jar 包或许也可行？不确定从 1.27 -> 1.29 有没有不兼容的情况。
Best,
tison.
Jane Chan 于2023年3月22日周三 18:11写道：
> Hi,
>
> 如回复所述, 如果不想切换版本, 在 1.15 上可以尝试手动 cast 'abc' 字段为 varchar 来绕过这个问题
> map ['msg_code','0', 'msg_reason', cast('abc' as string)]
>
> 如果不想修改 SQL, 目前只能手动编译出 release-1.17 分支, 编译方法参考
Hi,
如回复所述, 如果不想切换版本, 在 1.15 上可以尝试手动 cast 'abc' 字段为 varchar 来绕过这个问题
map ['msg_code','0', 'msg_reason', cast('abc' as string)]
如果不想修改 SQL, 目前只能手动编译出 release-1.17 分支, 编译方法参考 [1]
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/flinkdev/building/
祝好!
Jane
On Wed, Mar 22, 2023 at 6:04
通过读calcite1.27.0相关源码发现它已经修复了，但我使用的是flink 1.15无法直接使用1.27.0，所以只能使用本地编译的版本么？
在 2023-03-22 10:41:42，"Shuo Cheng" 写道：
>Hi,
>
>如果你知道问题出现在哪儿, 可以自己提个 PR 哦.
>
>Sincerely,
>Shuo
>
>On Wed, Mar 22, 2023 at 11:23 AM Jeff wrote:
>
>> 复制执行我提供的两个sql就一定会复现！
>>
Hi,
我在社区发起了在 Operator 粒度设置 State TTL 的讨论 [1], 支持为每条流单独设置 TTL, 欢迎参与讨论 :)
[1] https://lists.apache.org/thread/ffmc96gv8ofoskbxlhtm7w8oxv8nqzct
Best,
Jane
On Wed, Feb 15, 2023 at 1:26 PM Jane Chan wrote:
> 你好,
>
> 目前 Flink SQL 还不支持为每条流单独设置 state TTL, 不过社区计划支持这个功能, 最近就会有 FLIP 提出, 也欢迎参与讨论.
>
>
Hi,
这是 Calcite 的一个 bug[1], 已经在 1.27.0 上修复. 不过由于 Flink 1.15.1, 1.15.2 和 1.16.1
都依赖 Calcite 1.26.0, 所以目前只能尝试如下方式绕过, 可以等 release-1.17 发布后升级到新版本上, 应该不会再有问题了.
select * from (values(case when true then map['test','123456789'] else
map ['msg_code','0', 'msg_reason', cast('abc' as string)] end));
[1]
更正一下，监控flink的方式从pushgateway方式改成了直接prometheus定期来抓取，周期设置的是1分钟，之前用pushgateway方式也总是把pushgateway打挂，现在改成pull方式还是照样把prometheus打挂。flink作业侧有什么参数可以配置吗？prometheus侧能否配置只抓取那些grafana
dashboard展示需要的metrics?
在 2023-03-22 12:08:29，"casel.chen" 写道：
我们通过pushgateway上报metrics到prometheus，设置的上报周期是30秒，整个实时平台有200多个作业，启了一台50GB的prometheus还是撑不住，指标保留1天，设置了指标在内存中驻留2小时后写入磁盘。最大的一个metric已经有37万条。请问有什么解决办法么？能选择哪些指标进行上报不？
你可以关注下发布动态，测试一下 RC
https://lists.apache.org/thread/d9o0tgnv0fl9goqsdo8wmq9121b9wolv
Best,
tison.
tison 于2023年3月22日周三 11:47写道：
> Flink master 上 calcite 的版本是 1.29，看起来会在 Flink 1.17 release 出来
>
> Best,
> tison.
>
>
> Shuo Cheng 于2023年3月22日周三 11:42写道：
>
>> Hi,
>>
>> 如果你知道问题出现在哪儿, 可以自己提个 PR 哦.
>>
Flink master 上 calcite 的版本是 1.29，看起来会在 Flink 1.17 release 出来
Best,
tison.
Shuo Cheng 于2023年3月22日周三 11:42写道：
> Hi,
>
> 如果你知道问题出现在哪儿, 可以自己提个 PR 哦.
>
> Sincerely,
> Shuo
>
> On Wed, Mar 22, 2023 at 11:23 AM Jeff wrote:
>
> > 复制执行我提供的两个sql就一定会复现！
> > 不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。
Hi,
如果你知道问题出现在哪儿, 可以自己提个 PR 哦.
Sincerely,
Shuo
On Wed, Mar 22, 2023 at 11:23 AM Jeff wrote:
> 复制执行我提供的两个sql就一定会复现！
> 不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。
> 这个问题是这个版本calcite引起的。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2023-03-22 09:28:17，"Jeff" 写道：
> >bug地址：
>
复制执行我提供的两个sql就一定会复现！
不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。
这个问题是这个版本calcite引起的。
在 2023-03-22 09:28:17，"Jeff" 写道：
>bug地址：
>https://issues.apache.org/jira/browse/FLINK-31375?filter=-2
>
>
>bug详细内容：
>the values of map are truncated by the CASE WHEN function.
>// sql
>create
Hi
我使用同样的 SQL 没有复现该问题，你可以提供下复现的办法吗？
Best,
Weihua
On Wed, Mar 22, 2023 at 10:28 AM Jeff wrote:
> bug地址：
> https://issues.apache.org/jira/browse/FLINK-31375?filter=-2
>
>
> bug详细内容：
> the values of map are truncated by the CASE WHEN function.
> // sql
> create table test (a map) with
bug地址：
https://issues.apache.org/jira/browse/FLINK-31375?filter=-2
bug详细内容：
the values of map are truncated by the CASE WHEN function.
// sql
create table test (a map) with ('connector'='print');
insert into test select * from (values(case when true then
map['test','123456789'] else map
Hi
我们内部最初版本是通过 cluster-id 来唯一标识一个 application，同时认为流式任务是长时间运行的，不应该主动退出。如果该
cluster-id 在 Kubernetes 中查询不到，说明作业已经异常退出了，此时标记作业为异常。后续我们开发了特殊的 operator +
crd 来管理 pod 声明周期，防止 pod 快速退出。
另外，作业状态还可以通过启用 history server[1] 来查看
[1]
状态文件的数量与很多因素有关，比如作业的并行度，单条 state kv 的数据大小，状态的更新频率，key 的粒度等都有关系。
Best,
Guojun
On Wed, Mar 22, 2023 at 9:43 AM Shammon FY wrote:
> 那可能需要确认一下这些状态
> 1. 是否确实属于这个作业的状态
> 2. 这些状态是成功的checkpoint还是失败的checkpoint
> 3. 是否清理checkpoint出现了问题，排查下有没有相关错误日志
>
> Best,
> Shammon FY
>
> On Wed, Mar 22, 2023 at 8:51
那可能需要确认一下这些状态
1. 是否确实属于这个作业的状态
2. 这些状态是成功的checkpoint还是失败的checkpoint
3. 是否清理checkpoint出现了问题，排查下有没有相关错误日志
Best,
Shammon FY
On Wed, Mar 22, 2023 at 8:51 AM casel.chen wrote:
> 检查过了，当前`state.checkpoints.num-retained`参数值是3
>
>
> 在 2023-03-21 20:05:35，"Shammon FY" 写道：
> >Hi
> >
>
Hi
你可以在你的提交平台启动后台任务定去向k8s查询作业状态，Flink也在设计支持作业状态汇报[1]，目前正在讨论中
[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-294%3A+Support+Customized+Job+Status+Listener
Best,
Shammon FY
On Wed, Mar 22, 2023 at 8:54 AM casel.chen wrote:
>
Flink实时计算平台在k8s上以Application模式启动作业如何实时同步作业状态到平台？作业一旦crash失败就会被k8s回收到相关的pod，没法通过web
url去获取作业状态，有什么别的办法吗？通过metrics? 如果是的话具体是哪一个metric值呢？
检查过了，当前`state.checkpoints.num-retained`参数值是3
在 2023-03-21 20:05:35，"Shammon FY" 写道：
>Hi
>
>你可以检查一下checkpoint配置`state.checkpoints.num-retained`，是否保存的checkpoint数量太多了？
>
>Best,
>Shammon FY
>
>
>On Tue, Mar 21, 2023 at 11:55 AM casel.chen wrote:
>
>> 有一个flink
Hi
可以找一些go相关的内存分析工具，看下prometheus进程主要内存使用情况
Best,
Shammon FY
On Tue, Mar 21, 2023 at 10:16 AM casel.chen wrote:
>
> 线上用prometheus监控几百个flink作业，使用的是pushgateway方式，设置采样作业metrics周期是30秒，prometheus服务本身给了将近50GB内存，还是会经常发生OOM，请问有什么调优办法吗？
Hi
你可以检查一下checkpoint配置`state.checkpoints.num-retained`，是否保存的checkpoint数量太多了？
Best,
Shammon FY
On Tue, Mar 21, 2023 at 11:55 AM casel.chen wrote:
> 有一个flink cdc实现多表关联打宽的flink作业，作业状态达到20GB左右，远端状态存储用的是aliyun
>
有一个flink cdc实现多表关联打宽的flink作业，作业状态达到20GB左右，远端状态存储用的是aliyun
oss。今天作业运行失败打算手动从checkpoint恢复时发现保存作业状态的checkpoint目录(share目录)无法通过浏览器打开，后来使用命令行list了一下该目录下的文件有多达上万个文件。该flink作业用的是rocksdb
state
backend并开启了增量checkpoint。请问有什么办法可以解决这个问题吗？share目录下这么多文件是因为增量checkpoint遗留下来的吗？
线上用prometheus监控几百个flink作业，使用的是pushgateway方式，设置采样作业metrics周期是30秒，prometheus服务本身给了将近50GB内存，还是会经常发生OOM，请问有什么调优办法吗？
站在业务角度，监控指标包括数据的一致性（不多不少）和 数据的时效性（同步延迟时长在合理区间）。这2块有什么工具和方案吗？
在 2023-03-17 15:23:30，"Shammon FY" 写道：
>Hi
>
>具体是要监控哪些信息？不同的信息会有不同的工具和方案，比如资源使用率、failover情况、同步数据延时等
>
>Best,
>Shammon FY
>
>
>On Fri, Mar 17, 2023 at 10:52 AM casel.chen wrote:
>
>>
Hi
具体是要监控哪些信息？不同的信息会有不同的工具和方案，比如资源使用率、failover情况、同步数据延时等
Best,
Shammon FY
On Fri, Mar 17, 2023 at 10:52 AM casel.chen wrote:
> 业务上利用flink作业做实时数据同步，请问实时数据同步对比监控有什么好的工具和方案吗？
> 实时同步链路：mysql -> kafka canal -> flink -> doris
>
>
> 欢迎大家提供思路
你好，可以在source下发数据的时候做一些限速么
casel.chen 于2023年3月17日周五 10:53写道：
> 使用flink cdc消费mysql binlog遇到业务库刷数据瞬间cdc流量上涨打爆作业的问题有什么好的解决办法吗？
使用flink cdc消费mysql binlog遇到业务库刷数据瞬间cdc流量上涨打爆作业的问题有什么好的解决办法吗？
业务上利用flink作业做实时数据同步，请问实时数据同步对比监控有什么好的工具和方案吗？
实时同步链路：mysql -> kafka canal -> flink -> doris
欢迎大家提供思路
hi,
我在1.15.x和1.16.1对水位线策略进行测试发现水位线对齐和idleness同时使用会造成变成空闲的source无法再消费kafka数据。这是一个bug吗？
我的水位线策略如下：
WatermarkStrategy
.forBoundedOutOfOrderness(Duration.ofMillis(0))
.withTimestampAssigner((element, recordTimestamp) ->
Long.parseLong(element))
Hi
控制台具体是指哪块？你可以检查下其他日志是否显示正常
Best,
Shammon FY
On Wed, Mar 15, 2023 at 11:29 PM wei_yuze wrote:
> 我又试了一次，web UI有了，可能是我看漏了。我设置的任务名是XXX_Statistics。
>
>
> 但是控制台里的输出没有任务名。是log4j2级别不对吗？我在log4j2.properties里设置的输出等级为INFO
>
>
> rootLogger.level = INFO
>
>
>
>
>
>
>
> 原始邮件
>
>
>
> 发件人："Weihua Hu"<
Hi,
UI 显示的任务名是什么呢？
Best,
Weihua
On Wed, Mar 15, 2023 at 8:02 PM wei_yuze wrote:
> 您好！
>
>
>
>
> 我在使用flink1.16.0。在通过这个方式设置了任务名：
> streamExecutionEnvironment.execute("jobName")
> 但是web UI 中并不显示出设置的用户名。请问哪位大佬能答疑一下，感谢！
Flink SQL 现在只能在create table 语句中指定watermark，另外一种迂回的做法，就是参考一下Flink SQL
把Tabe转成流，然后在流上做清洗后再指定watermark
Hi wdmcode
看上去 per-job 或者 application 模式更适合你，session 模式的话是需要重启集群才能识别到新添加的 connector。
Best
JasonLee
回复的原邮件
| 发件人 | wdmcode |
| 发送日期 | 2023年03月14日 17:59 |
| 收件人 | user-zh |
| 主题 | 咨询yarn session 集群启动后在不重启的情况下如何更新一个jar包 |
hi all
我在yarn集群使用yarn
Hi
如果自定义的connector是和作业打包在一起提交的，那可以可以只重启指定作业就可以了；如果这些connector是在flink
session集群启动时加载的，一般最好重启集群，避免不同版本connector冲突
Best,
Shammon FY
On Tue, Mar 14, 2023 at 5:59 PM wdmcode wrote:
>
> hi all
> 我在yarn集群使用yarn session方式启动了一个flink集群。集群中有一些自定义的Connector。自定义的Connector
> Jar包放在本地的lib目录。
> 我如何在不重启yarn
hi all
我在yarn集群使用yarn session方式启动了一个flink集群。集群中有一些自定义的Connector。自定义的Connector
Jar包放在本地的lib目录。
我如何在不重启yarn session集群的情况下更新一个Connector呢。如果重启yarn
session集群会导致所有任务都要重启。但是更新一个Connector只会影响部分任务。
_DIRTY.json
看下以这个结尾的文件，内容应该是一个 json，如果不是标准 json 说明数据已经异常了，可以尝试删除
Best,
Weihua
On Tue, Mar 14, 2023 at 11:23 AM Jason_H wrote:
> 您好，
> 我找到了我的ha目录，请教一下，怎么确定哪些数据是脏数据，可以允许删除的，这个有什么办法可以确定吗，我看到的都是些系统数据
>
>
> | |
> Jason_H
> |
> |
> hyb_he...@163.com
> |
> 回复的原邮件
> | 发件人 | Weihua Hu |
>
您好，
我找到了我的ha目录，请教一下，怎么确定哪些数据是脏数据，可以允许删除的，这个有什么办法可以确定吗，我看到的都是些系统数据
| |
Jason_H
|
|
hyb_he...@163.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年3月14日 10:39 |
| 收件人 | |
| 主题 | Re: flink k8s 部署启动报错 |
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据，但是数据已经不完整了，无法正常读取。
可以参考文档[1]，检查相关的
您好，
对的，之前是正常启动的，突然失败了，然后我直接重启pod，就一直报这个错了。
| |
Jason_H
|
|
hyb_he...@163.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年3月14日 10:39 |
| 收件人 | |
| 主题 | Re: flink k8s 部署启动报错 |
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据，但是数据已经不完整了，无法正常读取。
可以参考文档[1]，检查相关的 HA 路径，清理下异常数据
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据，但是数据已经不完整了，无法正常读取。
可以参考文档[1]，检查相关的 HA 路径，清理下异常数据
另外问一下，之前是通过同名的 cluster-id 启动过 Flink 集群吗？
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#job-result-store-storage-path
Best,
Weihua
On Tue, Mar 14, 2023 at
我昨天模拟下断电的情况
10个ha文件的日期是错开的5秒一个
chk-xxx也不是都损坏了，有的是可以启动的，这个我也试了 现在情况是
yarn集群停电重启首先会循环尝试从10个ha的文件中启动应用，ha文件记录的chk的相关原数据
1.如果ha文件都损坏了，即使chk没有损坏，flink应用也是拉不起来的
现在想的是让hdfs上存在至少1组个可用的的ha文件及其对应的chk 现在是5秒一个chk，保存了10个，也会出现损坏无法启动的问题 5秒*10 =
50秒，也想知道多长时间的存档才能保证存在一组没有损坏ha和chk呢。
在 2023-03-14
Hi
确认一下这些 ha 文件的 last modification time 是一致的还是错开的？
另外，指定 chk- 恢复尝试了没有？可以恢复吗？
Best,
Guojun
On Fri, Mar 10, 2023 at 11:56 AM guanyq wrote:
> flink ha路径为 /tmp/flink/ha/
> flink chk路径为 /tmp/flink/checkpoint
>
>
> 我现在不确定是这个ha的文件损坏了，还是所有chk都损坏，但是这个需要模拟验证一下。
>
>
>
>
> 会尝试从10个chk恢复，日志有打印
>
hi，大家好
请教一个问题，我在k8s上部署的flink集群，启动不来，报如下的错误，大家有遇到过吗
java.util.concurrent.CompletionException:
org.apache.flink.util.FlinkRuntimeException: Could not retrieve JobResults of
globally-terminated jobs from JobResultStore
at java.util.concurrent.CompletableFuture.encodeThrowable(Unknown
Hi
从错误上看应该是schema跟数据不匹配导致导致的，看起来目前avro不支持这种schema变更新老数据一起处理
Best,
Shammon.FY
On Fri, Mar 10, 2023 at 2:29 PM Peihui He wrote:
> java.io.IOException: Failed to deserialize Avro record.
> at
>
>
好的感谢，我关注下
| |
吴先生
|
|
15951914...@163.com
|
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年3月13日 18:49 |
| 收件人 | |
| 主题 | Re: Flink-Sql Watermarkers问题 |
Hi
目前sql只能在create table时指定，不过有新的扩展功能，相关FLIP正在讨论中，你可以关注一下
Hi zilong,
应该是没有内置的方法直接进行转换的，如果有需要，还是需要自己根据schema做一遍读取和写入。
另外，在FLINK-24403[1] 中加强了对于复杂类型的print能力，可以直接把他们cast成string来打印。
[1] https://issues.apache.org/jira/browse/FLINK-24403
zilong xiao 于2023年3月13日周一 16:22写道：
> hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗？我们业务场景需要对RowData
>
Hi
你可以考虑将field数据从BinaryRowData中读取出来再转换成string试试
Best,
Shammon.FY
On Mon, Mar 13, 2023 at 4:21 PM zilong xiao wrote:
> hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗？我们业务场景需要对RowData
> toString，BinaryRowData没有实现该方法QQAQ
>
> Benchao Li 于2021年4月9日周五 10:42写道：
>
> >
Hi
目前sql只能在create table时指定，不过有新的扩展功能，相关FLIP正在讨论中，你可以关注一下
https://cwiki.apache.org/confluence/display/FLINK/FLIP-296%3A+Extend+watermark-related+features+for+SQL
Best,
Shammon.FY
On Mon, Mar 13, 2023 at 6:29 PM 吴先生 <15951914...@163.com> wrote:
> hi，
> 我在使用Flink-Sql 1.14版本时能否不在create
hi，
我在使用Flink-Sql 1.14版本时能否不在create table处指定watermarkers，因为源数据需要做一些清洗之后再指定水位线
| |
吴先生
|
|
15951914...@163.com
|
理解了，非常感谢。
在 2023-03-13 16:57:18，"Weihua Hu" 写道：
>图片看不到，可以找一个图床上传图片，在邮件列表中贴一下链接。
>
>YARN 拉起 AM 还受 "yarn.application-attempt-failures-validity-interval"[1]
>控制，在这个时间内达到指定次数才会退出。
>
>[1]
共有 16710 项搜索結果，以下是第 901 - 1000 matches
Mail list logo
