Hi,
That tool only shows active consumer-groups that make use of the
automatic partitions assignment API.
Flink use the manual partitions assignment API, so it will now show up
there.
The best way to monitor kafka offset with Flink is using Flink's own
metrics system.
Otherwise, you can scan the __committed_offset topics and search for
the committed offset,
however this result can be outdated, since Flink only commits offset on
checkpoint
bin/kafka-console-consumer.sh --consumer.config config/consumer.properties
--from-beginning --topic __consumer_offsets --zookeeper zookeeper:2181
--formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"
Best regards,
Kien
On 4/19/2018 4:37 PM, bernd.winterst...@dev.helaba.de wrote:
Hi
We are using Kafka 0.11 consumers with Flink 1.4 and Confluence Kafka
4.0.0. Checkpointing is enabled and enableCommitOnCheckpoints ist set
to true.
However there are no offsets from Flink jobs visible in Kafka when
checking with the kafka-consumer-groups tool.
Any ideas
Regards
Bernd
_________________________________ _
Landesbank Hessen-Thueringen Girozentrale
Anstalt des oeffentlichen Rechts
Sitz: Frankfurt am Main / Erfurt
Amtsgericht Frankfurt am Main, HRA 29821 / Amtsgericht Jena, HRA 102181
Bitte nutzen Sie die E-Mail-Verbindung mit uns ausschliesslich zum
Informationsaustausch. Wir koennen auf diesem Wege keine
rechtsgeschaeftlichen Erklaerungen (Auftraege etc.) entgegennehmen.
Der Inhalt dieser Nachricht ist vertraulich und nur fuer den
angegebenen Empfaenger bestimmt. Jede Form der Kenntnisnahme oder
Weitergabe durch Dritte ist unzulaessig. Sollte diese Nachricht nicht
fur Sie bestimmt sein, so bitten wir Sie, sich mit uns per E-Mail oder
telefonisch in Verbindung zu setzen.
Please use your E-mail connection with us exclusively for the exchange
of information. We do not accept legally binding declarations (orders,
etc.) by this means of communication.
The contents of this message is confidential and intended only for the
recipient indicated. Taking notice of this message or disclosure by
third parties is not
permitted. In the event that this message is not intended for you,
please contact us via E-mail or phone.
