Kafka 根据消费者滞后来节流生产者

Question

有没有办法根据消费者滞后或其他消费者问题来暂停或限制 Kafka 生产者？生产者是否需要自行确定是否存在消费者滞后，然后自行执行限制？

Answer 1

Kafka 基于 Pub/Sub 设计构建。生产者将消息发布到集中主题。多个消费者可以订阅该主题。由于涉及多个消费者，您无法决定生产者的速度。一个消费者可能会很慢，而另一个消费者可能会很快。这也违反了设计原则，否则两个系统将变得紧密耦合。如果您有限制用例，您可能应该评估其他框架，例如直接休息调用。