hi, keyby后的watermark应该是上游多个线程中最小的watermark , 所以数据虽然可能乱序, 但是watermark并不会乱, 不会影响后续的窗口触发
tingli ke <[email protected]> 于2020年3月31日周二 上午9:54写道: > 您好, > 针对您的回复,现在的场景是这样子的 > 1、kafka存在多个partition,针对多个Partiton,flink watermark assiger会对每个Partiton > 发射 watermark; > 2、在第一个前提下,水位已经设置好了,还可以在keyby之后在次设置watermark吗? > 3、是否存在可以不用经过第一个前提的方案,直接在keyby之后设置watermark? > > Jimmy Wong <[email protected]> 于2020年3月30日周一 下午9:13写道: > > > Hi, > > watermark 可以在 keyBy 后分配,但是最好紧跟 SourceFunction。经过 KeyBy > > 或其他分配策略,可能导致数据更大的延迟(EventTime)。 > > > > > > “想做key化的乱序处理” 这句没太理解,麻烦解释下。 > > > > > > | | > > Jimmy Wong > > | > > | > > [email protected] > > | > > 签名由网易邮箱大师定制 > > > > > > 在2020年03月30日 20:58,tingli ke<[email protected]> 写道: > > 请教一个问题:kafka-per-partition 的watermark的分配,可以在keyby之后分配吗,想做key化的乱序处理能支持吗 > > > -- Best, Jun Su
