Hi Jan, Are you running on historic data? Then your partitions might drift apart quickly.
However, I still suspect that this is a bug (Watermark should only be from the slowest partition). I'm pulling in Timo who should know more. On Fri, Feb 19, 2021 at 10:50 AM Jan Oelschlegel < oelschle...@integration-factory.de> wrote: > If i increase the watermark, the dropped events getting lower. But why is > the DataStream API Job still running with 12 hours watermark delay? > > By the way, I’m using Flink 1.11. It would be nice if someone could give > me some advice. > > > > Best, > > Jan > > > > *Von:* Jan Oelschlegel <oelschle...@integration-factory.de> > *Gesendet:* Donnerstag, 18. Februar 2021 09:51 > *An:* Jan Oelschlegel <oelschle...@integration-factory.de>; user < > user@flink.apache.org> > *Betreff:* AW: Kafka SQL Connector: dropping events if more partitions > then source tasks > > > > By using the DataStream API with the same business logic I’m getting no > dropped events. > > > > *Von:* Jan Oelschlegel <oelschle...@integration-factory.de> > *Gesendet:* Mittwoch, 17. Februar 2021 19:18 > *An:* user <user@flink.apache.org> > *Betreff:* Kafka SQL Connector: dropping events if more partitions then > source tasks > > > > Hi, > > > > i have a question regarding FlinkSQL connector for Kafka. I have 3 Kafka > partitions and 1 Kafka SQL source connector (Parallelism 1). The data > within the Kafka parttitons are sorted based on a event-time field, which > is also my event-time in Flink. My Watermark is generated with a delay of > 12 hours > > > > WATERMARK FOR eventtime as eventtime - INTERVAL '12' HOUR > > > > > > But the problem is that I see dropping events due arriving late in > Prometheus. But with parallelism of 3 there are no drops. > > > > Do I always have to have as much source-tasks as I have Kafka partitions? > > > > > > > > Best, > > Jan > > HINWEIS: Dies ist eine vertrauliche Nachricht und nur für den Adressaten > bestimmt. Es ist nicht erlaubt, diese Nachricht zu kopieren oder Dritten > zugänglich zu machen. Sollten Sie diese Nachricht irrtümlich erhalten > haben, bitte ich um Ihre Mitteilung per E-Mail oder unter der oben > angegebenen Telefonnummer. > HINWEIS: Dies ist eine vertrauliche Nachricht und nur für den Adressaten > bestimmt. Es ist nicht erlaubt, diese Nachricht zu kopieren oder Dritten > zugänglich zu machen. Sollten Sie diese Nachricht irrtümlich erhalten > haben, bitte ich um Ihre Mitteilung per E-Mail oder unter der oben > angegebenen Telefonnummer. >
