按我的理解，streaming模式去读是允许checkpoint的（具体看各个connector的checkpoint逻辑），batch模式是一个阶段一个阶段的跑的，上一个task跑完的结果会放到磁盘等待下一个task拉取，task失败了就重新拉取上一个task的结果重新跑（没有看源码里具体实现细节，纯属个人的猜测，有懂行的大佬们可以纠正）
回复的原邮件
| 发件人 | ha.fen...@aisino.com |
| 发送日期 | 2024年2月2日 17:21 |
| 收件人 | user-zh |
| 主题 | Re: Re:
Hi,
这个问题已经在1.17.0修复，详细可以看https://issues.apache.org/jira/browse/FLINK-30922
best wishes,
tanjialiang.
回复的原邮件
| 发件人 | jinzhuguang |
| 发送日期 | 2023年10月13日 10:39 |
| 收件人 | user-zh |
| 主题 | 关于Flink SQL无法对带metadata列的表在执行insert into时，指定具体的列名的问题。 |
首先，我的Flink版本为1.16.0
为了方便理解，我以Kafka作为案例来描述
://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/ha/overview
best,
tanjialiang.
式写入一个OLAP系统（譬如doris/ck），读时再聚合（需要一个稳定可靠的外部存储）
你这边用flink做滑动窗口的计算会遇到这样的问题吗？是否还有其他更好解决办法？
十分期待你的反馈
best,
tanjialiang.
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年5月29日 09:08 |
| 收件人 | |
| 主题 | Re: FlinkSQL大窗口小步长的滑动窗口解决方案 |
Hi,
这是窗口触发后发送的数据量过大吗？调大资源，加大窗口计算的并发度是否可以缓解这个问题？
Best,
Shammon FY
Hi, all.
我在使用FlinkSQL的window tvf滑动窗口时遇到一些问题。
滑动步长为5分钟，窗口为24小时，group by
user_id的滑动窗口，当任务挂掉了或者从kafka的earliest-offset消费，checkpoint很难成功。
因为从earliest开始消费，数据很快就会堆满缓冲区产生背压，这时这一批数据可能会触发N次窗口计算往下游发，每次触发的操作成本是（用户基数 * 24 *
60 / 5），checkpoint barrier可能会一直卡住。
这时候有什么办法可以破局吗？
best,
tanjialiang.
Hi, Jing Ge,
原来如此，非常感谢你的帮助和建议
Best regards,
tanjialiang.
回复的原邮件
| 发件人 | Jing Ge |
| 发送日期 | 2023年4月25日 13:45 |
| 收件人 | |
| 主题 | Re: 关于Apache Flink源码贡献流程 |
Hi tanjianliang,
你说的英文讨论邮件是这个吧[1]? 建议以后讨论涉及到邮件引用时都带上链接，方便大家理解上下文。
结合邮件以及Jira里面的回复，你可以写好FLIP[2]之后再来发起新的讨论。
Best regards,
Jing
[1
Hi, Shammon FY,
感谢你的帮助，我想我缺少了FLIP，我会补上再发起一次讨论
Best regards,
tanjialiang.
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年4月25日 10:12 |
| 收件人 | ,
|
| 主题 | Re: 关于Apache Flink源码贡献流程 |
Hi tanjialiang
`EncodingFormat`和`DecodingFormat`是PublicEvolving接口，你可以在https://cwiki.apache.org
Hi, Jing Ge
感谢你的回复。
目前我已经发起了一个英文的邮件讨论（大约两周前），但是目前回复邮件的开发者只有一个，针对这种情况我应该如何去安排后续的代码贡献工作？
Best regrads,
tanjialiang.
回复的原邮件
| 发件人 | Jing Ge |
| 发送日期 | 2023年4月24日 16:30 |
| 收件人 | |
| 主题 | Re: 关于Apache Flink源码贡献流程 |
Hi，
如果是增加public API变更的话，建议先发起一个英文的邮件讨论，然后看是否需要创建FLIP，然后在基于FLIP发起更具体的技术讨论
Hello，everyone.
我想向apache
flink贡献源码，由于修复这个issue需要新增一些API，按照流程需要发起邮件讨论，但这个topic只得到一名开发者关注，这样的情况下我应该如何进行后面的流程？期待有熟悉flink源码贡献的开发者可以提供帮助
issue: https://issues.apache.org/jira/browse/FLINK-31686
discuss邮件标题: EncodingFormat and DecondingFormat provide copy API
Best regrads
tanjialiang.
Hi all,
我有一个通过flink kubernetes operator定时提交到同一个session作业（底层是将flink
sql转JobGraph的逻辑下推到了JobManager执行），当他跑了一段时间后，JobManager报了metaspace OOM.
经过排查后发现是flink sql codegen生成的代码类有一个自增ID，这些类在使用完后不会释放。
疑问：
1. flink sql codegen做这样的一个自增ID有什么特殊意义吗？
2. java中通过类加载器加载的类有什么办法可以释放？
10 matches
Mail list logo
