Re:回复: Re: 滑动窗口按照处理时间触发的问题

2024-01-02 文章 haishui
比如并行度是4,任务执行图是: Source(p=1) ==reblance=> flatMap和Timestamp/watermrk(p=4) =hash=> window(p=4) window的水位线取上游四个算子水位线的最小值, 你需要写4个数据,才能让四个子任务水位线更新,window的水位线才有一次更新 Best regards, haishui 在 2024-01-03 14:25:48,"ha.fen...@aisino.com" 写道: >设置并行度1确实可以了。env.setParallelism(1);

Re:回复: Re: 滑动窗口按照处理时间触发的问题

2024-01-02 文章 haishui
Hi, 应该是并行度的原因,你可以先将并行度设置为1试试。 Best regards, haishui 在 2024-01-03 12:24:20,"ha.fen...@aisino.com" 写道: >帮我看看代码,感觉是代码的问题,使用滚动窗口问题一样,5分钟的滚动,也是输入1704130441000才触发函数的 >public static void main(String[] args) throws Exception { >StreamExecutionEnvironment env = >

Re:Re: 滑动窗口按照处理时间触发的问题

2024-01-02 文章 Xuyang
Hi, 基本思路和Jinsui说的差不多,我怀疑也是watermark没有推进导致窗口没有开窗。具体可以debug一下EventTimeTrigger里的‘onElement’方法和‘onEventTime’方法。 -- Best! Xuyang 在 2024-01-02 23:31:54,"Jinsui Chen" 写道: >Hi, > >请问是否可以将所有代码贴出来,尤其是水位线相关的。因为事件时间的推进和水位线策略紧密相关。 > >假设这样一种情况,将时间戳作为事件时间,假设你的水位线容错间隔设置为10min,就会出现上述情况,原因如下: >1.

Re: 滑动窗口按照处理时间触发的问题

2024-01-02 文章 Jinsui Chen
Hi, 请问是否可以将所有代码贴出来,尤其是水位线相关的。因为事件时间的推进和水位线策略紧密相关。 假设这样一种情况,将时间戳作为事件时间,假设你的水位线容错间隔设置为10min,就会出现上述情况,原因如下: 1. 首先是时间窗口的对齐逻辑。窗口是根据 Epoch 时间(1970-01-01 00:00:00 UTC)来对齐的。例如,如果窗口大小为5分钟,那么窗口的开始时间会是00:00、00:05、00:10等等很整的值,而不是事件时间。这也是为什么你的第一条数据会落在 00:20 - 01:20 这个时间窗口上。 2.

RE: 如何在IDE里面调试flink cdc 3.0作业?

2024-01-02 文章 Jiabao Sun
Hi, 可以参考下这篇文档[1],进行简单的测试。 Best, Jiabao [1] https://docs.google.com/document/d/1L6cJiqYkAsZ_nDa3MgRwV3SKQuw5OrMbqGC4YgzgKR4/edit#heading=h.aybxdd96r62i On 2024/01/02 08:02:10 "casel.chen" wrote: > 我想在Intellij Idea里面调试mysql-to-doris.yaml作业要如何操作呢?flink-cdc-cli模块需要依赖 >

如何在IDE里面调试flink cdc 3.0作业?

2024-01-02 文章 casel.chen
我想在Intellij Idea里面调试mysql-to-doris.yaml作业要如何操作呢?flink-cdc-cli模块需要依赖 flink-cdc-pipeline-connector-mysql 和 flink-cdc-pipeline-connector-doris 模块么?