Hi, Jing Ge,
原来如此，非常感谢你的帮助和建议
Best regards,
tanjialiang.
回复的原邮件
| 发件人 | Jing Ge |
| 发送日期 | 2023年4月25日 13:45 |
| 收件人 | |
| 主题 | Re: 关于Apache Flink源码贡献流程 |
Hi tanjianliang,
你说的英文讨论邮件是这个吧[1]? 建议以后讨论涉及到邮件引用时都带上链接，方便大家理解上下文。
结合邮件以及Jira里面的回复，你可以写好FLIP[2]之后再来发起新的讨论。
Best regards,
Jing
[1
Hi tanjianliang,
你说的英文讨论邮件是这个吧[1]? 建议以后讨论涉及到邮件引用时都带上链接，方便大家理解上下文。
结合邮件以及Jira里面的回复，你可以写好FLIP[2]之后再来发起新的讨论。
Best regards,
Jing
[1] https://lists.apache.org/thread/3yzvo6mynj637v2z10s895t7hhmv4rjd
[2]
https://cwiki.apache.org/confluence/display/FLINK/Flink+Improvement+Proposals
On Mon, Apr 24
Hi, Shammon FY,
感谢你的帮助，我想我缺少了FLIP，我会补上再发起一次讨论
Best regards,
tanjialiang.
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年4月25日 10:12 |
| 收件人 | ,
|
| 主题 | Re: 关于Apache Flink源码贡献流程 |
Hi tanjialiang
`EncodingFormat`和`DecodingFormat`是PublicEvolving接口，你可以在https://cwiki.apache.org
Hi tanjialiang
`EncodingFormat`和`DecodingFormat`是PublicEvolving接口，你可以在
https://cwiki.apache.org/confluence/display/FLINK/Flink+Improvement+Proposals
创建一个FLIP，然后在dev邮件组发起FLIP讨论；完成讨论后发起FLIP投票，投票通过后可以在对应的issue上提交PR
Best,
Shammon FY
On Mon, Apr 24, 2023 at 5:10 PM tanjialiang wrote:
> Hi, Jing
Hi, Jing Ge
感谢你的回复。
目前我已经发起了一个英文的邮件讨论（大约两周前），但是目前回复邮件的开发者只有一个，针对这种情况我应该如何去安排后续的代码贡献工作？
Best regrads,
tanjialiang.
回复的原邮件
| 发件人 | Jing Ge |
| 发送日期 | 2023年4月24日 16:30 |
| 收件人 | |
| 主题 | Re: 关于Apache Flink源码贡献流程 |
Hi，
如果是增加public API变更的话，建议先发起一个英文的邮件讨论，然后看是否需要创建FLIP，然后在基于FLIP发起更具体的技术讨论
Hi，
如果是增加public API变更的话，建议先发起一个英文的邮件讨论，然后看是否需要创建FLIP，然后在基于FLIP发起更具体的技术讨论
On Mon, Apr 24, 2023 at 10:06 AM tanjialiang wrote:
> Hello，everyone.
> 我想向apache
> flink贡献源码，由于修复这个issue需要新增一些API，按照流程需要发起邮件讨论，但这个topic只得到一名开发者关注，这样的情况下我应该如何进行后面的流程？期待有熟悉flink源码贡献的开发者可以提供帮助
>
>
Hello，everyone.
我想向apache
flink贡献源码，由于修复这个issue需要新增一些API，按照流程需要发起邮件讨论，但这个topic只得到一名开发者关注，这样的情况下我应该如何进行后面的流程？期待有熟悉flink源码贡献的开发者可以提供帮助
issue: https://issues.apache.org/jira/browse/FLINK-31686
discuss邮件标题: EncodingFormat and DecondingFormat provide copy API
Best regrads
tanjialiang.
Hi,
请问作业有配置ttl吗？
另外可以参考下是否与下面两个问题类似：
1. pin L0 index in memory : https://issues.apache.org/jira/browse/FLINK-31089
2. max open files：https://issues.apache.org/jira/browse/FLINK-31225
Biao Geng 于2023年4月23日周日 15:35写道：
>
> Hi,
> 可以配置下jemalloc来进行堆外内存泄漏的定位。
> 具体操作可以参考下这两
Hi
这是TM向JM发送消息超时了，可以了看下JM是否有错误日志，或者对应的TM和JM是否有资源打满等情况，导致akka消息超时
Best,
Shammon FY
On Sun, Apr 23, 2023 at 2:28 PM crazy <2463829...@qq.com.invalid> wrote:
> Hi, 大佬好,
>有个Flink on
> Yarn程序，Flink版本使用的是flink-1.13.5，statebackend使用的是rocksdb，任务跑一段时间，就会出现如下堆栈异常：
>
>
>
成1了
>
> Weihua Hu 于2023年4月21日周五 19:23写道：
>
> > Hi,
> >
> > 你作业运行在 YARN 还是 Kubernetes 上？可以先关注下文档里的 Glibc 泄露问题
> >
> > Best,
> > Weihua
> >
> >
> > On Fri, Apr 21, 2023 at 6:04 PM Guo Thompson
> > wrote:
> >
> > > Flink
>
thx
回复的原邮件
| 发件人 | Feng Jin |
| 日期 | 2023年04月22日 22:22 |
| 收件人 | user-zh@flink.apache.org |
| 抄送至 | |
| 主题 | Re: flink datastream api写的代码如何在idea中调试 |
如果你是要本地 idea debug 线上的作业，需要在 taskManager 的 JVM 参数中开启debug
提交作业时， 添加参数:
env.java.opts.taskmanager="-agentlib:jdwp=transport=dt_s
g Jin |
> | 日期 | 2023年04月22日 21:53 |
> | 收件人 | user-zh@flink.apache.org |
> | 抄送至 | |
> | 主题 | Re: flink datastream api写的代码如何在idea中调试 |
> 支持的， 在 idea 中执行 main 函数即可.执行前，idea 中的运行配置中，最好勾选上： *Include dependencies
> with "Provided" scope *否则有可能会有 class not found 的报错.
>
抱歉啊，可能我没有把问题描述清楚。我是想本地对代码进行debug调试，观察每条流输入后的变量值以及调用栈等信息的。
回复的原邮件
| 发件人 | Feng Jin |
| 日期 | 2023年04月22日 21:53 |
| 收件人 | user-zh@flink.apache.org |
| 抄送至 | |
| 主题 | Re: flink datastream api写的代码如何在idea中调试 |
支持的， 在 idea 中执行 main 函数即可.执行前，idea 中的运行配置中，最好勾选上： *Include dependencies
支持的， 在 idea 中执行 main 函数即可.执行前，idea 中的运行配置中，最好勾选上： *Include dependencies
with "Provided" scope *否则有可能会有 class not found 的报错.
Best,
Feng Jin
On Sat, Apr 22, 2023 at 9:28 PM m18751805115_1 <18751805...@163.com> wrote:
> 请教一下，在idea中用flink datastream
> api写的代码
请教一下，在idea中用flink datastream
api写的代码，source输入是一条一条socket流数据，那如何在本地idea中进行调试，观察每条输入数据的运行情况，idea是否支持这种调试？
yarn，我已经关闭了yarn的内存检查，glibc的那个参数已经配置成1了
Weihua Hu 于2023年4月21日周五 19:23写道：
> Hi,
>
> 你作业运行在 YARN 还是 Kubernetes 上？可以先关注下文档里的 Glibc 泄露问题
>
> Best,
> Weihua
>
>
> On Fri, Apr 21, 2023 at 6:04 PM Guo Thompson
> wrote:
>
> > Flink
> >
> Job是基于sql的，Flink版
Hi,
你作业运行在 YARN 还是 Kubernetes 上？可以先关注下文档里的 Glibc 泄露问题
Best,
Weihua
On Fri, Apr 21, 2023 at 6:04 PM Guo Thompson wrote:
> Flink
> Job是基于sql的，Flink版本为1.13.3，state用rocksDB存，发现会存在内存泄露的情况，作业运行一段时间后，会被linux内核kill掉，求助，如何解决？
> 网上
> http://www.whitewood.me/2021/01/02/%E8%AF%A6%E8%A7%A3-
Flink
Job是基于sql的，Flink版本为1.13.3，state用rocksDB存，发现会存在内存泄露的情况，作业运行一段时间后，会被linux内核kill掉，求助，如何解决？
网上
http://www.whitewood.me/2021/01/02/%E8%AF%A6%E8%A7%A3-Flink-%E5%AE%B9%E5%99%A8%E5%8C%96%E7%8E%AF%E5%A2%83%E4%B8%8B%E7%9A%84-OOM-Killed/
讲很可能就是rocksDB的内存没法回收导致。
1、分配 tm的30G内存，jvm堆内的远远没有使用完。
[image
感谢回复。我们在之前使用Flink 1.11的应用是可以支持增加带默认值的field。目前1.16的Table API无法兼容吗？
On Mon, Apr 17, 2023 at 11:21 PM Shammon FY wrote:
> Hi
>
> 目前增减列数据会导致状态无法兼容
>
> Best,
> Shammon FY
>
>
> On Fri, Apr 14, 2023 at 9:09 PM Elvis Chen
> wrote:
>
> > 我们正在使用flink-1.1
作业不 fo
Best Regards,
Ran Tao
Ran Tao 于2023年4月20日周四 16:12写道：
> offset 重放，mistake
>
> Best Regards,
> Ran Tao
>
>
> Ran Tao 于2023年4月20日周四 16:11写道：
>
>> 1.一种比较干净但是暴力的做法是Flink一旦检测到分区变化，就执行作业fo.
>> fo后读取最新的分区列表，旧的分区从状态中进行offer重放，新分区执行特定的点位启动策略。它的做法比较干净暴力。
>&
offset 重放，mistake
Best Regards,
Ran Tao
Ran Tao 于2023年4月20日周四 16:11写道：
> 1.一种比较干净但是暴力的做法是Flink一旦检测到分区变化，就执行作业fo.
> fo后读取最新的分区列表，旧的分区从状态中进行offer重放，新分区执行特定的点位启动策略。它的做法比较干净暴力。
>
> 2.第二种就是动态的分区发现（指作业fo，异步线程一直check分区变化，针对removed或者insert的分区单独处理），
> 这个在 newKafkaSource 中已经实现了。旧的kafka s
1.一种比较干净但是暴力的做法是Flink一旦检测到分区变化，就执行作业fo.
fo后读取最新的分区列表，旧的分区从状态中进行offer重放，新分区执行特定的点位启动策略。它的做法比较干净暴力。
2.第二种就是动态的分区发现（指作业fo，异步线程一直check分区变化，针对removed或者insert的分区单独处理），
这个在 newKafkaSource 中已经实现了。旧的kafka source实现社区有 FLIP[1]
讨论这个问题。实现侧来看，这种方案相对于第一种复杂一些，需要开发者比较小心的处理状态以及某些极端环境的fo导致的问题[2]。
[1]
https
Flink kafka connector 支持自动发现 partition，可以参考官方文档[1]
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/connectors/datastream/kafka/#dynamic-partition-discovery
Best,
Weihua
On Thu, Apr 20, 2023 at 3:43 PM casel.chen wrote:
>
> 实际工作中会遇到kafka版本升级或者kafka扩容（横向或纵向），数据重平衡等情况
实际工作中会遇到kafka版本升级或者kafka扩容（横向或纵向），数据重平衡等情况，想问一下发生这些情况下对线上运行的flink作业会有什么影响？flink作业能感知topic分区发生变化吗？要如何应对以减少对flink作业消费端的影响？
我这边的做法是将配置文件也当作一条流进行读取，程序会自动读取，不需要再任务启动的时候指定；希望对你有帮助呀
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Jason_H |
| 发送日期 | 2023年4月19日 15:57 |
| 收件人 | flink中文邮件组 ,
user-zh-subscribe |
| 主题 | flink命令行提交作业读取不到properties配置文件 |
hi，大家好
我在使用命令行提交任务时，发现任务刚起来就会报错，根据错误发现没有读去到jar包中resource目录下
hi，大家好
我在使用命令行提交任务时，发现任务刚起来就会报错，根据错误发现没有读去到jar包中resource目录下的properties配置文件，导致在使用redis时，初始化报错
提交命令如下：
flink run -c com.test..etl.OdsChangeApplication
/opt/dobrain/app/etl/test-etl-0.0.2-SNAPSHOT.jar \
-p 4 \
-job-name test-etl \
此处没有添加redis配置参数，但是配置文件中已经有默认的，提交运行后报错
Hi
看着是解析数据错误，可以检查一下是不是source的schema和数据不匹配
On Tue, Apr 18, 2023 at 2:46 PM kcz <573693...@qq.com.invalid> wrote:
> 版本：1.15.2
>1.首先是采用SQL方式，将json数据输入到kafka里面（avro格式）
>2.然后采用DS api方式去接收解析kafka里面的avro数据
> --报错如下--
>
各位大佬好！
我在使用Flink ES连接器的时候，有时候报以下错误：
Caused by: java.io.IOException
breakpoint : 远程主机强迫关闭了一个现有的连接
初步判断，应该是没有维持住长连接保活，所以如果一段时间不写入数据，连接就断了。
请问各位大佬，ElasticSearch Connector 有什么参数可以维持长连接吗？
ElasticSearch Connector 代码如下：
jsonStringStream
.sinkTo(
new Elasticsearch7SinkBuilder
Hi
目前增减列数据会导致状态无法兼容
Best,
Shammon FY
On Fri, Apr 14, 2023 at 9:09 PM Elvis Chen
wrote:
> 我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL
>
> queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错：
我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL
queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错：
Caused by: org.apache.flink.util.StateMigrationException: The new state
serializer
(org.apache.flink.table.runtime.typeutils.RowDataSerializer@aad5b03a
3-04-14 16:26:35，"小昌同学" 写道：
我将流式数据输出到mysql，查看flink 自带的web ui界面，有一个sink节点显示为Sink: Unnamed ，这个针对sink节点可以命名嘛
| |
小昌同学
|
|
ccc0606fight...@163.com
|
可以，在算子后可以通过 .name("xxx") 来命名
Best,
Weihua
On Fri, Apr 14, 2023 at 4:27 PM 小昌同学 wrote:
> 我将流式数据输出到mysql，查看flink 自带的web ui界面，有一个sink节点显示为Sink: Unnamed
> ，这个针对sink节点可以命名嘛
>
>
> | |
> 小昌同学
> |
> |
> ccc0606fight...@163.com
> |
我将流式数据输出到mysql，查看flink 自带的web ui界面，有一个sink节点显示为Sink: Unnamed ，这个针对sink节点可以命名嘛
| |
小昌同学
|
|
ccc0606fight...@163.com
|
Hi
这个是可以配置的，可以参考官网 filter.includes[1] 来过滤你想要的 metrics。
[1]https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/deployment/metric_reporters/#filter-includes
Best
JasonLee
回复的原邮件
| 发件人 | casel.chen |
| 发送日期 | 2023年03月22日 12:08 |
| 收件人 | user-zh@flink.apache.org |
| 主题
可以通过JobResultStore[1]来获取任务最终的状态，flink-kubernetes-operator也是这样来获取的
[1].
https://cwiki.apache.org/confluence/display/FLINK/FLIP-194%3A+Introduce+the+JobResultStore
Best,
Yang
Weihua Hu 于2023年3月22日周三 10:27写道：
> Hi
>
> 我们内部最初版本是通过 cluster-id 来唯一标识一个 application，同时认为流式任务是长时间运行的，不应
可以通过给Prometheus server来配置metric_relabel_configs[1]来控制采集哪些metrics
[1].
https://prometheus.io/docs/prometheus/latest/configuration/configuration/#metric_relabel_configs
Best,
Yang
casel.chen 于2023年3月22日周三 13:47写道：
> 更正一下，监控flink的方式从pushgateway方式改成了直接prometheus定期来抓取，周期设置的是1分钟，之前用pushgateway方
ser-zh@flink.apache.org
Subject: 回复：Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能
Biao Geng：
十分感谢您的回复。
这个问题是我的同事之前向我提出的。我当时直觉感觉是不行的。现在周末放空的时候再想想这个问题。
我考虑的是，提交任务使用到本集群的principal和keytab和要他写入的另一集群用到的principal和keytab在hadoop的UserGroupInformation类login时会冲突，导致要么任务无法在本集群顺利做如checkpoint之类的操作，要么就是无法写入另一集
| 发件人 | Geng Biao |
| 发送日期 | 2023年04月08日 23:20 |
| 收件人 | user-zh@flink.apache.org |
| 主题 | Re: Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能 |
Hi yihan,
这个本质上可以理解成在Flink的taskmanager运行一个UDF(UDF做的事情是写另一个Kerberos HDFS集群)，所以技术上是可能的。
我之前走通过普通Yarn集群的Flink任务写入另一个Kerberos HDFS集群的流程，整体操作感觉比较复杂，通常而言，你需要如下步
Hi yihan,
这个本质上可以理解成在Flink的taskmanager运行一个UDF(UDF做的事情是写另一个Kerberos HDFS集群)，所以技术上是可能的。
我之前走通过普通Yarn集群的Flink任务写入另一个Kerberos HDFS集群的流程，整体操作感觉比较复杂，通常而言，你需要如下步骤：
1.
准备一个HAOOP_CONF_DIR，它包含hdfs-site.xml、core-site.xml等配置，除此之外还要准备kerberos鉴权所需的krb5.conf等文件，使得你在使用这个HAOOP_CONF_DIR以及通过kinit命令完成授权后，可以在你的Yarn集群
请教如标题问题，谢谢。
Hi everyone,
As a fresh start of the Flink release 1.18, I'm happy to share with you
that the first release sync meeting of 1.18 will happen tomorrow on
Tuesday, April 4th at 10am (UTC+2) / 4pm (UTC+8). Welcome and feel free to
join us and share your ideas about the new release cycle!
Details
Hi
自增id可以为同一个作业的多个codegen类生成唯一类名
一般metaspace可以通过fullgc释放，你可以查看你的集群metaspace大小，是否触发了了fullgc
Best,
Shammon FY
On Wednesday, March 29, 2023, tanjialiang wrote:
> Hi all,
>我有一个通过flink kubernetes operator定时提交到同一个session作业（底层是将flink
> sql转JobGraph的逻辑下推到了JobManager执行），当他跑了一段时间后，Job
Congratulations!
Dong
On Mon, Mar 27, 2023 at 5:24 PM Yu Li wrote:
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a separate project called Apache
> Paimon(incubating) [1] [2] [3].
Hi all,
我有一个通过flink kubernetes operator定时提交到同一个session作业（底层是将flink
sql转JobGraph的逻辑下推到了JobManager执行），当他跑了一段时间后，JobManager报了metaspace OOM.
经过排查后发现是flink sql codegen生成的代码类有一个自增ID，这些类在使用完后不会释放。
疑问：
1. flink sql codegen做这样的一个自增ID有什么特殊意义吗？
2. java中通过类加载器加载的类有什么办法可以释放？
我的实时作业项目想解析sql获取到TableIdentifier做sql血缘，使用的版本是flink 1.15.2，同时引入了
flink-table-planner_2.12 和 flink-table-planner-loader 依赖，debug时发现
TableEnvironmentImpl create(EnvironmentSettings settings) 方法会调用
FactoryUtil.discoverFactory(classLoader, ExecutorFactory.class,
ExecutorFactory.DEFAULT_IDENTIFIER
Cool ~ Congrats!
Best Regards,
Shuo
On Mon, Mar 27, 2023 at 5:24 PM Yu Li wrote:
> Dear Flinkers,
>
>
> As you may have noticed, we are pleased to announce that Flink Table
> Store has joined the Apache Incubator as a separate project called
> Apache Paimon(incubating) [1
023年3月28日周二 10:29写道：
>>
>> > Congratulations!
>> >
>> > Best,
>> > Hang
>> >
>> > yu zelin 于2023年3月28日周二 10:27写道：
>> >
>> >> Congratulations!
>> >>
>> >> Best,
>> >> Yu Zelin
&g
：
> >
> >> Congratulations!
> >>
> >> Best,
> >> Yu Zelin
> >>
> >> 2023年3月27日 17:23，Yu Li 写道：
> >>
> >> Dear Flinkers,
> >>
> >>
> >>
> >> As you may have noticed, we are pl
;>
>> Dear Flinkers,
>>
>>
>>
>> As you may have noticed, we are pleased to announce that Flink Table Store
>> has joined the Apache Incubator as a separate project called Apache
>> Paimon(incubating) [1] [2] [3]. The new project still aims at building a
>&g
...@flink.apache.org
Subject: Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache
Paimon(incubating)
Congratulations!
Best regards,
Xianxun
On 03/27/2023 22:51，Samrat
Deb<mailto:decordea...@gmail.com> wrote：
congratulations
Bests,
Samrat
On Mon, Mar 27, 2023 at 7:19 PM Yanfei Lei
;>
>> Dear Flinkers,
>>
>>
>>
>> As you may have noticed, we are pleased to announce that Flink Table Store
>> has joined the Apache Incubator as a separate project called Apache
>> Paimon(incubating) [1] [2] [3]. The new project still aims at building
Congratulations!
Best,
Hang
yu zelin 于2023年3月28日周二 10:27写道：
> Congratulations!
>
> Best,
> Yu Zelin
>
> 2023年3月27日 17:23，Yu Li 写道：
>
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the
Congratulations!
Best,
Yu Zelin
> 2023年3月27日 17:23，Yu Li 写道：
>
> Dear Flinkers,
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a separate project called Apache
> Paimon(incubating) [1] [2] [3]. The n
你好，我这边使用flink sql实现四条流的关联，后续实现case
when的逻辑，并且将数据插入到mysql，但是从结果数据来看，数据存在部分丢失，代码我粘贴再后面，麻烦各位老师指导，下面是sql【create
function get_json_value as 'com.nesc.flink.udf.GetJsonValue';
set 'table.exec.sink.not-null-enforcer'='drop';
测试环境
CREATE TABLE dm_cust_oact_prog_ri (
cust_id STRING COMMENT '客户
Congratulations!
Best Regards,
Yanfei
ramkrishna vasudevan 于2023年3月27日周一 21:46写道：
>
> Congratulations !!!
>
> On Mon, Mar 27, 2023 at 2:54 PM Yu Li wrote:
>>
>> Dear Flinkers,
>>
>>
>> As you may have noticed, we are pleased to announce that F
; , "dev" , "User" <
> u...@flink.apache.org>, "user-zh"
> 发送时间: 星期一, 2023年 3 月 27日 下午 8:57:50
> 主题: Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache
> Paimon(incubating)
>
> Exciting!
>
> If this ends up working well, Wik
congratulations!
Best regards,
Yuxia
发件人: "Andrew Otto"
收件人: "Matthias Pohl"
抄送: "Jing Ge" , "Leonard Xu" , "Yu Li"
, "dev" , "User"
, "user-zh"
发送时间: 星期一, 2023年 3 月 27日 下午 8:57:50
主题: Re: [ANNOUNCE] F
>> Leonard
>>
>> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>>
>> Dear Flinkers,
>>
>>
>>
>> As you may have noticed, we are pleased to announce that Flink Table Store
>> has joined the Apache Incubator as a separate project called Ap
Congrats!
Am Mo., 27. März 2023 um 14:32 Uhr schrieb Leonard Xu :
> Congratulations!
>
>
> Best,
> Leonard
>
> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Flink Table S
Congrats!
Best regards,
Jing
On Mon, Mar 27, 2023 at 2:32 PM Leonard Xu wrote:
> Congratulations!
>
>
> Best,
> Leonard
>
> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Fli
Congratulations!
Best,
Leonard
> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>
> Dear Flinkers,
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a separate project called Apache
> Paimon(incubating)
Dear Flinkers,
As you may have noticed, we are pleased to announce that Flink Table
Store has joined the Apache Incubator as a separate project called
Apache Paimon(incubating) [1] [2] [3]. The new project still aims at
building a streaming data lake platform for high-speed data ingestion
of the meeting isn't
available (maybe try Zoom or jitsi instead?)
- Release sync every 2 weeks and a switch to weekly after feature freeze
felt reasonable
- Slack worked well as a collaboration tool to document the monitoring
tasks (#builds [1], #flink-dev-benchmarks [2]) in a team with multiple
release
Hi
使用withTimestampAssigner只是定义了生成watermark消息的策略，不会影响数据流。超出指定时间的数据是否处理，可以在定义window的时候使用allowedLateness定义最晚的late
event，超出这个时间的窗口数据会直接丢弃
Best,
Shammon FY
On Sat, Mar 25, 2023 at 12:28 AM crazy <2463829...@qq.com.invalid> wrote:
> 大佬好，如下程序，flink在生成watermark策略中，forBoundedOutOfOrderness
>
flink-sql-connector-xx 都是uber jar, 不应该在项目中直接uber jar，你在项目中应该引入
flink-connector-xx 依赖并自己管理。
Best,
Leonard
> On Mar 25, 2023, at 3:25 PM, casel.chen wrote:
>
> 项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar
> 后启动过程中报如下异常，查了一下该jar下有oracle.xml.jaxp.JXDocumentBuilderFacto
Thanks for the great work ! Congrats all!
Best,
Hang
Panagiotis Garefalakis 于2023年3月25日周六 03:22写道：
> Congrats all! Well done!
>
> Cheers,
> Panagiotis
>
> On Fri, Mar 24, 2023 at 2:46 AM Qingsheng Ren wrote:
>
> > I'd like to say thank you to all contributors
项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar
后启动过程中报如下异常，查了一下该jar下有oracle.xml.jaxp.JXDocumentBuilderFactory类，有什么办法解决么？
ERROR StatusLogger Caught javax.xml.parsers.ParserConfigurationException
setting feature http://xml.org/sax/features/external-general-entities to false
Congrats all! Well done!
Cheers,
Panagiotis
On Fri, Mar 24, 2023 at 2:46 AM Qingsheng Ren wrote:
> I'd like to say thank you to all contributors of Flink 1.17. Your support
> and great work together make this giant step forward!
>
> Also like Matthias mentioned, feel free to
Hi,
现在不会过滤指标，可以尝试修改 PrometheusReporter 将不需要的 label 过滤掉
https://github.com/apache/flink/blob/master/flink-metrics/flink-metrics-prometheus/src/main/java/org/apache/flink/metrics/prometheus/AbstractPrometheusReporter.java#L104
需要注意这里的 key 的格式是 这种
Best,
Weihua
On Fri, Mar 24, 2023 at 2:47 PM
Hi
退订发送邮件到 user-zh-unsubscr...@flink.apache.org
On Fri, Mar 24, 2023 at 1:23 PM 孙冬燕 wrote:
> 退订
> --
> 发件人：小昌同学
> 发送时间：2023年3月24日(星期五) 13:22
> 收件人：user-zh
> 抄 送：user-zh
> 主 题：回复： flink写入mysql数据异常
&g
使用prometheus监控flink
sql作业，发现没一会儿工夫就将prometheus内存(30GB)占满了，查了一下是因为作业指标名称过长导致的，像flink sql作业这种operator
name和task name默认是根据sql内容拼装的，一旦sql出现的列名很多就会导致指标名称过长。
请问这种情况Flink社区有什么建议？prometheus抓取的时候能够过滤掉吗？只保留operator_id和task_id。
要是自己想将现有拼装名称修改成哈希值的话应该改哪个类呢？谢谢！
退订
--
发件人：小昌同学
发送时间：2023年3月24日(星期五) 13:22
收件人：user-zh
抄 送：user-zh
主 题：回复： flink写入mysql数据异常
好滴呀，谢谢您的建议；
https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP#
<ht
好滴呀，谢谢您的建议；
https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP#
邀请你共同编辑文档《Flink SQL写入到mysql的问题》
我创建了一个语雀，我将代码以及问题都写在文档里了，麻烦大佬们帮忙看一下问题呀
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年3月24日 13:08
Hi
你可以将问题描述和sql放在一个外部文档，例如google文档，然后将文档连接发在邮件里
Best,
Shammon FY
On Fri, Mar 24, 2023 at 10:58 AM 孙冬燕
wrote:
> 退订
> --
> 发件人：小昌同学
> 发送时间：2023年3月24日(星期五) 10:57
> 收件人：user-zh
> 抄 送：user-zh
> 主 题：回复： flink写入m
退订
--
发件人：小昌同学
发送时间：2023年3月24日(星期五) 10:57
收件人：user-zh
抄 送：user-zh
主 题：回复： flink写入mysql数据异常
您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确；
您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下；
谢谢大佬的指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确；
您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下；
谢谢大佬的指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Jane Chan |
| 发送日期 | 2023年3月23日 20:40 |
| 收件人 | |
| 主题 | Re: flink写入mysql数据异常 |
附件还是没有收到哦.
Flink SQL 支持 INSERT INTO table_identifier
附件还是没有收到哦.
Flink SQL 支持 INSERT INTO table_identifier (column_identifier1 [,
column_identifier2, ...]) 插入指定列, 具体语法可以参考 [1]
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries
On Thu, Mar 23, 2023 at 5:35 PM 小昌同学 wrote:
> 您好，我刚
that didn't
go so well during the 1.17.0 release cycle are much appreciated.
Best,
Matthias
On Thu, Mar 23, 2023 at 11:02 AM Jing Ge via user
wrote:
> Excellent work! Congratulations! Appreciate the hard work and
> contributions of everyone in the Apache Flink community who helpe
Excellent work! Congratulations! Appreciate the hard work and contributions
of everyone in the Apache Flink community who helped make this release
possible. Looking forward to those new features. Cheers!
Best regards,
Jing
On Thu, Mar 23, 2023 at 10:24 AM Leonard Xu wrote:
> The Apache Fl
您好，我刚刚重新上传了附件；是的，Flink
SQL已经支持了Upsert模式，但是这种更新都是行级别的更新，我想要实现仅仅只是变动一行数据中的部分字段。还望大佬指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Jane Chan |
| 发送日期 | 2023年3月23日 15:42 |
| 收件人 | |
| 主题 | Re: flink写入mysql数据异常 |
Hi,
没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的
The Apache Flink community is very happy to announce the release of Apache
Flink 1.17.0, which is the first release for the Apache Flink 1.17 series.
Apache Flink® is an open-source unified stream and batch data processing
framework for distributed, high-performing, always-available
Hi,
没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的 DDL 声明主键,
并且与数据库中物理表主键保持一致. 可以参考 [1].
[1]
https://github.com/apache/flink-connector-jdbc/blob/main/docs/content.zh/docs/connectors/table/jdbc.md#%E9%94%AE%E5%A4%84%E7%90%86
On Thu, Mar 23, 2023 at 2:54 PM 小昌同学 wrote:
> 大佬
大佬，你好，代码上传在附件中了；
就是我想实现flink sql写MySQL时能支持update吗 类似ON DUPLICATE KEY UPDATE 的语法？
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Jane Chan |
| 发送日期 | 2023年3月23日 14:23 |
| 收件人 | |
| 主题 | Re: flink写入mysql数据异常 |
可以把完整 SQL 发出来看看
祝好!
Jane
On Thu, Mar 23, 2023 at 1:39 PM 小昌同学 wrote
使用flink sql多表关联实时的将数据写入到mysql，mysql中定义了联合主键，查看日志发现为啥相同的数据插入到mysql表中，一条是insert
,另外一条是delete啊，我想实现的是upsert，这样该怎么操作啊
| |
小昌同学
|
|
ccc0606fight...@163.com
|
更正一下，监控flink的方式从pushgateway方式改成了直接prometheus定期来抓取，周期设置的是1分钟，之前用pushgateway方式也总是把pushgateway打挂，现在改成pull方式还是照样把prometheus打挂。flink作业侧有什么参数可以配置吗？prometheus侧能否配置只抓取那些grafana
dashboard展示需要的metrics?
在 2023-03-22 12:08:29，"casel.chen" 写道：
>我们通过pushgateway上报metrics到prometheu
我们通过pushgateway上报metrics到prometheus，设置的上报周期是30秒，整个实时平台有200多个作业，启了一台50GB的prometheus还是撑不住，指标保留1天，设置了指标在内存中驻留2小时后写入磁盘。最大的一个metric已经有37万条。请问有什么解决办法么？能选择哪些指标进行上报不？
Hi
我们内部最初版本是通过 cluster-id 来唯一标识一个 application，同时认为流式任务是长时间运行的，不应该主动退出。如果该
cluster-id 在 Kubernetes 中查询不到，说明作业已经异常退出了，此时标记作业为异常。后续我们开发了特殊的 operator +
crd 来管理 pod 声明周期，防止 pod 快速退出。
另外，作业状态还可以通过启用 history server[1] 来查看
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment
eckpoint数量太多了？
> > >
> > >Best,
> > >Shammon FY
> > >
> > >
> > >On Tue, Mar 21, 2023 at 11:55 AM casel.chen wrote:
> > >
> > >> 有一个flink cdc实现多表关联打宽的flink作业，作业状态达到20GB左右，远端状态存储用的是aliyun
> > >>
> >
> oss
;Hi
> >
> >你可以检查一下checkpoint配置`state.checkpoints.num-retained`，是否保存的checkpoint数量太多了？
> >
> >Best,
> >Shammon FY
> >
> >
> >On Tue, Mar 21, 2023 at 11:55 AM casel.chen wrote:
> >
> >> 有一个flink cdc实现多表关联打宽的flink作业，作业状态达到20GB左右，远端状态存储用的是
Hi
你可以在你的提交平台启动后台任务定去向k8s查询作业状态，Flink也在设计支持作业状态汇报[1]，目前正在讨论中
[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-294%3A+Support+Customized+Job+Status+Listener
Best,
Shammon FY
On Wed, Mar 22, 2023 at 8:54 AM casel.chen wrote:
> Flink实时计算平台在k8s上以Application模式启动作业如何实时同步作业状态到平台？作
Flink实时计算平台在k8s上以Application模式启动作业如何实时同步作业状态到平台？作业一旦crash失败就会被k8s回收到相关的pod，没法通过web
url去获取作业状态，有什么别的办法吗？通过metrics? 如果是的话具体是哪一个metric值呢？
检查过了，当前`state.checkpoints.num-retained`参数值是3
在 2023-03-21 20:05:35，"Shammon FY" 写道：
>Hi
>
>你可以检查一下checkpoint配置`state.checkpoints.num-retained`，是否保存的checkpoint数量太多了？
>
>Best,
>Shammon FY
>
>
>On Tue, Mar 21, 2023 at 11:55 AM casel.chen wrote:
>
>> 有
Hi
可以找一些go相关的内存分析工具，看下prometheus进程主要内存使用情况
Best,
Shammon FY
On Tue, Mar 21, 2023 at 10:16 AM casel.chen wrote:
>
> 线上用prometheus监控几百个flink作业，使用的是pushgateway方式，设置采样作业metrics周期是30秒，prometheus服务本身给了将近50GB内存，还是会经常发生OOM，请问有什么调优办法吗？
Hi
你可以检查一下checkpoint配置`state.checkpoints.num-retained`，是否保存的checkpoint数量太多了？
Best,
Shammon FY
On Tue, Mar 21, 2023 at 11:55 AM casel.chen wrote:
> 有一个flink cdc实现多表关联打宽的flink作业，作业状态达到20GB左右，远端状态存储用的是aliyun
> oss。今天作业运行失败打算手动从checkpoint恢复时发现保存作业状态的checkpoint目录(share目录)无法通过浏览器打开，后来使用命令行li
有一个flink cdc实现多表关联打宽的flink作业，作业状态达到20GB左右，远端状态存储用的是aliyun
oss。今天作业运行失败打算手动从checkpoint恢复时发现保存作业状态的checkpoint目录(share目录)无法通过浏览器打开，后来使用命令行list了一下该目录下的文件有多达上万个文件。该flink作业用的是rocksdb
state
backend并开启了增量checkpoint。请问有什么办法可以解决这个问题吗？share目录下这么多文件是因为增量checkpoint遗留下来的吗？
线上用prometheus监控几百个flink作业，使用的是pushgateway方式，设置采样作业metrics周期是30秒，prometheus服务本身给了将近50GB内存，还是会经常发生OOM，请问有什么调优办法吗？
Flink SQL 现在只能在create table 语句中指定watermark，另外一种迂回的做法，就是参考一下Flink SQL
把Tabe转成流，然后在流上做清洗后再指定watermark
- 回复的原邮件
> | 发件人 | Weihua Hu |
> | 发送日期 | 2023年3月14日 10:39 |
> | 收件人 | |
> | 主题 | Re: flink k8s 部署启动报错 |
> Hi,
>
> 看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据，但是数据已经不完整了，无法正常读取。
> 可以参考文档[1]，检查相关的 HA 路径，清理下异常数据
>
> 另外问一下，之前是通过同名的 cluster-id 启动过 Flink 集群吗？
>
&
您好，
我找到了我的ha目录，请教一下，怎么确定哪些数据是脏数据，可以允许删除的，这个有什么办法可以确定吗，我看到的都是些系统数据
| |
Jason_H
|
|
hyb_he...@163.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年3月14日 10:39 |
| 收件人 | |
| 主题 | Re: flink k8s 部署启动报错 |
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据，但是数据已经不完整了，无法正常读取。
可以参考文档[1]，检查相关的
您好，
对的，之前是正常启动的，突然失败了，然后我直接重启pod，就一直报这个错了。
| |
Jason_H
|
|
hyb_he...@163.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年3月14日 10:39 |
| 收件人 | |
| 主题 | Re: flink k8s 部署启动报错 |
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据，但是数据已经不完整了，无法正常读取。
可以参考文档[1]，检查相关的 HA 路径，清理下异常数据
另外问一下，之前
共有 8293 项搜索結果，以下是第 401 - 500 matches
Mail list logo
