不用reduce,直接用windowFunction,拿到该窗口的全部数据,返回最后一个。

而且所有的“前”和“后“应该是有数据层面的含义的,比如根据数据中的timestamp?还是啥,如果是有timestamp的话,可以在windowFunction中直接基于timestamp排序,然后输出最后一个。

Lei Wang <leiwang...@gmail.com> 于2022年3月1日周二 11:21写道:

> 谢谢,了解了。
>
> 另外一个问题,我 timeWindown 之后只想保留最后一条在这个 window 中的数据直接输出:
>
> env.addSource(consumer).keyBy(new KeySelector<String, String>() {
>     @Override
>     public String getKey(String value) throws Exception {
>         return value;
>     }
> }).*timeWindow(Time.seconds(10)).reduce((a,b)->b).*addSink(new
> SinkTest(1));
>
> 上面的代码我测试了下不符合预期,其实是逆序输出了窗口中左右的记录。
>
> 需要用什么方式实现这个功能比较合适呢?
>
>
> On Tue, Mar 1, 2022 at 10:52 AM yidan zhao <hinobl...@gmail.com> wrote:
>
> >
> >
> keyBy的时候调用一次,sink的时候应该也会调用一次。因为keyBy是hash分区,前后是不chain在一起的。sink部分处理输入的ele的时候需要基于keySelector获取key。
> >
> > Lei Wang <leiwang...@gmail.com> 于2022年3月1日周二 10:49写道:
> >
> > > 接收 kafka 的数据后 keyBy, sinkTest 中什么也没做。
> > >
> > > env.addSource(consumer).keyBy(new KeySelector<String, String>() {
> > >     @Override
> > >     public String getKey(String value) throws Exception {
> > >         System.out.println(value);
> > >         return value;
> > >     }
> > > }).addSink(new SinkTest(1));
> > >
> > >
> > > 我自己做测试,每发送一条消息console 会打印两次,也就是 System.out.println(value) 被调用了两次。
> > >
> > > 为什么会这样呢,哪个地方还调用了 getKey 这个函数呢?
> > >
> > >
> > > 谢谢,
> > >
> > > 王磊
> > >
> >
>

回复