When a Publish Kafka Processor is unable to send a message due to an error in Kafka, de nifi-app.log is spammed. More than 300.000 lines added per minute:
2023-11-29 14:20:59,998 ERROR [Timer-Driven Process Thread-6] o.a.n.p.kafka.pubsub.PublishKafka_2_6 PublishKafka_2_6[id=3f566dad-11be-329b-a076-e7aa01fdb39b] Failed to send StandardFlowFileRecord[uuid=d9d87bde-5b8b-4e28-804c-b1a2426ad53a,claim=StandardContentClaim [resourceClaim=StandardResourceClaim[id=1701263941707-189, container=default, section=189], offset=0, length=2005739],offset=0,name=4ba076d0-4d9c-4a4f-b488-0830a6e9f9a0.xml,size=2005739] to Kafka
Can this exessive rate be controlled somewhere? A few messsages are ok, but 300.000 in a minute floods the filesystem.
Tiemen Fiat
DTCA
------------------------------------------------------------------------
De Belastingdienst stelt e-mail niet open voor aanvragen, aangiften, bezwaarschriften, verzoeken, klachten, ingebrekestellingen en soortgelijke formele berichten.
Dit bericht is uitsluitend bestemd voor de geadresseerde. Het bericht kan vertrouwelijke informatie bevatten waarvoor de fiscale geheimhoudingsplicht geldt. Als u dit bericht per abuis hebt ontvangen, wordt u verzocht het te verwijderen en de afzender te informeren.
The Dutch Tax Administration does not accept filings, requests, appeals, complaints, notices of default or similar formal notices, sent by email.
This message is solely intended for the addressee. It may contain information that is confidential and legally privileged. If you are not the intended recipient please delete this message and notify the sender.
