Re: 关于Table API 或 SQL 如何设置水印的疑问？

你在hive的catalog中定义表的时候就可以定义好event time，以及watermark呀。 ZhaoShuKang 于2023年5月25日周四 08:53写道： > > 各位老师好，我最近在做Flink查询Hive的功能，需要用到窗口处理数据，在编写代码过程中无法设置水印，我看官网看到Table API & SQL > 设置事件时间有三种方式： > 1、在 DDL 中定义 > 2、在 DataStream 到 Table 转换时定义 > 3、使用 TableSource 定义 >

Flink checkpoint timeout

Hello all, We recently start to experience Checkpoint timeout randomly. Here are some background information 1. We are on Flink 1.13.1 2. We have been running these type of streaming jobs for years. When checkpoint succeeds, it only take a few seconds. After a week ago, we start to see random

Re: flink 输出异常数据

这个得靠你自己打日志吧，在可能出NPE的地方 try catch 到，然后打印原始记录。 小昌同学 于2023年5月29日周一 18:30写道： > > 你好，数据源是kafka，使用的是stream api > > > | | > 小昌同学 > | > | > ccc0606fight...@163.com > | > 回复的原邮件 > | 发件人 | Weihua Hu | > | 发送日期 | 2023年5月29日 15:29 | > | 收件人 | | > | 主题 | Re: flink 输出异常数据 | > Hi, > >

Re: flink jdbcsink 连接数的问题

你好，这个问题和flink无关，看你主键实现机制吧，如果是自增，那就是mysql级别自动实现的自增，跟flink搭不上关系的。 小昌同学 于2023年5月31日周三 09:41写道： > > 老师，你好，再请教一下，连接数与并行度有关系的话，如果插入数据的MySQL是有主键的话，是不是连接数据也就是并行度只能为1啦呀，如果是多个并行度的话，可能会造成主键冲突； > 感谢各位老师的指导 > > > | | > 小昌同学 > | > | > ccc0606fight...@163.com > | > 回复的原邮件 > | 发件人 | lxk | > | 发送日期 |

Re: flink web ui显示问题

没发现你web ui哪里显示了watermark呢？ 小昌同学 于2023年5月31日周三 10:22写道： > > 你好，老师，感谢回复，我这边将截图放在了腾讯文档中，请查收； > 感谢各位老师的指导 > 【腾讯文档】flink web ui > https://docs.qq.com/sheet/DYkZ0Q0prRWJxcER4?tab=BB08J2 > > > | | > 小昌同学 > | > | > ccc0606fight...@163.com > | > 回复的原邮件 > | 发件人 | Shammon FY | > | 发送日期 |

回复： flink web ui显示问题

你好，老师，感谢回复，我这边将截图放在了腾讯文档中，请查收； 感谢各位老师的指导 【腾讯文档】flink web ui https://docs.qq.com/sheet/DYkZ0Q0prRWJxcER4?tab=BB08J2 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | Shammon FY | | 发送日期 | 2023年5月31日 09:59 | | 收件人 | | | 主题 | Re: flink web ui显示问题 | Hi, 好像没有收到附件或者文档，你可以检查确认一下 Best,

Re: flink web ui显示问题

Hi, 好像没有收到附件或者文档，你可以检查确认一下 Best, Shammon FY On Wed, May 31, 2023 at 9:52 AM 小昌同学 wrote: > 各位老师好，请教一个关于flink web ui的显示问题； > 具体的显示异常截图的我以附件的形式放在文档中，我的疑惑是web > ui上面已经显示watermark，但是看detail的时候显示不是watermark； > 感谢各位老师指导 > > 小昌同学 > ccc0606fight...@163.com > >

Re: [DISCUSS] Hive dialect shouldn't fall back to Flink's default dialect

Thanks for your proposal. I even don't notice this fallback behavior, +1. Best, Ron Jingsong Li 于2023年5月30日周二 15:23写道： > +1, the fallback looks weird now, it is outdated. > > But, it is good to provide an option. I don't know if there are some > users who depend on this fallback. > > Best, >

flink web ui显示问题

各位老师好，请教一个关于flink web ui的显示问题； 具体的显示异常截图的我以附件的形式放在文档中，我的疑惑是web ui上面已经显示watermark，但是看detail的时候显示不是watermark； 感谢各位老师指导 | | 小昌同学 | | ccc0606fight...@163.com |

回复：flink jdbcsink 连接数的问题

老师，你好，再请教一下，连接数与并行度有关系的话，如果插入数据的MySQL是有主键的话，是不是连接数据也就是并行度只能为1啦呀，如果是多个并行度的话，可能会造成主键冲突； 感谢各位老师的指导 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | lxk | | 发送日期 | 2023年5月30日 14:30 | | 收件人 | | | 主题 | Re:flink jdbcsink 连接数的问题 | hi,

Interaction between idling sources and watermark alignment

Hello, I see that, in Flink 1.17.1, watermark alignment will be supported (as beta) within a single source's splits and across different sources. I don't see this explicitly mentioned in the documentation, but I assume that the concept of "maximal drift" used for alignment also takes idleness

Re: [SUMMARY] Flink 1.18 Release Sync 05/30/2023

Thanks Qingsheng for driving it! @Devs As you might already be aware of, there are many externalizations and new releases of Flink connectors. Once a connector has been externalized successfully, i.e. the related module has been removed in the Flink repo, we will not set a priority higher than

Re: [DISCUSS] Status of Statefun Project

Getting to a resolution here would be great and much appreciated, yes. On Sat, May 27, 2023 at 1:03 AM Salva Alcántara wrote: > Hey Galen, > > I took a look at StateFun some time ago; not using it in production but I > agree that it would be a pity to abandon it. > > As Martijn said, let's be

回复：flink jdbcsink 连接数的问题

好滴呀 谢谢老师指导 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | lxk | | 发送日期 | 2023年5月30日 14:30 | | 收件人 | | | 主题 | Re:flink jdbcsink 连接数的问题 | hi, jdbc创建链接是在SimpleJdbcConnectionProvider这个类中实现的，至于真正创建链接，则是由DriverManager来处理。 关于连接数，则是跟你的并行度有关。 在 2023-05-30

[SUMMARY] Flink 1.18 Release Sync 05/30/2023

Hi devs and users, I'd like to share some highlights from the release sync of 1.18 on May 30. 1. @developers please update the progress of your features on 1.18 release wiki page [1] ! That will help us a lot to have an overview of the entire release cycle. 2. We found a JIRA issue

Re: [Discussion] - Release major Flink version to support JDK 17 (LTS)

Hey Chesnay, I'm sending a follow up email regarding JDK 17 support. I see the Epic[1] is in progress and frequently updated. I'm curios if there is an ETA or any plan to release a major release with JDK 17 support that is not backward compatible. Thanks, Tamir [1]

Re: SupportsReadingMetadata flow between table transformations

Hi, Yuval. `SupportsReadingMetadata` make connectors be able to append metadata columns to the schema of table sources. But one operator does not know the columns map to which column in the source. We could try to generate this information when parsing Flink sql. But it is hard for DataStream

Re: [DISCUSS] Hive dialect shouldn't fall back to Flink's default dialect

+1, the fallback looks weird now, it is outdated. But, it is good to provide an option. I don't know if there are some users who depend on this fallback. Best, Jingsong On Tue, May 30, 2023 at 1:47 PM Rui Li wrote: > > +1, the fallback was just intended as a temporary workaround to run >

Re:flink jdbcsink 连接数的问题

hi, jdbc创建链接是在SimpleJdbcConnectionProvider这个类中实现的，至于真正创建链接，则是由DriverManager来处理。 关于连接数，则是跟你的并行度有关。 在 2023-05-30 13:55:57，"小昌同学" 写道： >各位老师，请教一下关于flink jdbcsink 连接数的问题； >我使用代码如下：在以下代码中，我查看了一下源码，并没有找到sink到MySQL时关于连接数的设定，请问这一块关于连接数的设定我应该怎么写呀； >谢谢各位老师的指导 > >|