卡夫卡消费者如何应对毒药消息

Hec*_*tor 6 apache-kafka kafka-consumer-api

当Kafka Consumer无法反序列化消息时,客户端应用程序有责任处理Poison消息吗?

要么

Kafka是否“增加”邮件的偏移量并继续使用有效的邮件?

是否存在处理关于Kafka主题的毒药消息的“最佳实践”?

Nau*_*lus 7

当 Kafka 无法反序列化消费者将收到的记录时org.apache.kafka.common.KafkaException,您应该自己提交偏移量并继续消费。

  • 一些用户还选择将任何此类有害消息写入“隔离”Kafka 主题(即普通的 Kafka 主题,只是专门用于仅包含有害消息),如果可能的话,可以在其中进行检查和重建。 (3认同)