卡夫卡的背压

Question

我在卡夫卡（Kafka）遇到过这样的情况，生产者以比消费者消费率高得多的速度发布消息。我必须在kafka中实施反压实现，以进一步消耗和处理。

请让我知道如何在spark和普通的Java API中实现。

Answer 1

卡夫卡在这里充当监管者。您可以按照想要的任何速率将其生成到Kafka中，从而将经纪人向外扩展以适应摄取速率。然后，您可以按照自己的意愿进行消费；Kafka保留数据并跟踪使用者在读取数据过程中的偏移量。