式写入一个OLAP系统（譬如doris/ck），读时再聚合（需要一个稳定可靠的外部存储）
你这边用flink做滑动窗口的计算会遇到这样的问题吗？是否还有其他更好解决办法？
十分期待你的反馈
best,
tanjialiang.
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年5月29日 09:08 |
| 收件人 | |
| 主题 | Re: FlinkSQL大窗口小步长的滑动窗口解决方案 |
Hi,
这是窗口触发后发送的数据量过大吗？调大资源，加大窗口计算的并发度是否可以缓解这个问题？
Best,
Shammon FY
Hi,
这是窗口触发后发送的数据量过大吗？调大资源，加大窗口计算的并发度是否可以缓解这个问题？
Best,
Shammon FY
On Fri, May 26, 2023 at 2:03 PM tanjialiang wrote:
> Hi, all.
> 我在使用FlinkSQL的window tvf滑动窗口时遇到一些问题。
> 滑动步长为5分钟，窗口为24小时，group by
> user_id的滑动窗口，当任务挂掉了或者从kafka的earliest-offset消费，checkpoint很难成功。
>
Hi, all.
我在使用FlinkSQL的window tvf滑动窗口时遇到一些问题。
滑动步长为5分钟，窗口为24小时，group by
user_id的滑动窗口，当任务挂掉了或者从kafka的earliest-offset消费，checkpoint很难成功。
因为从earliest开始消费，数据很快就会堆满缓冲区产生背压，这时这一批数据可能会触发N次窗口计算往下游发，每次触发的操作成本是（用户基数 * 24 *
60 / 5），checkpoint barrier可能会一直卡住。
这时候有什么办法可以破局吗？
best,
tanjialiang.
