Kafka 减少消费者的延迟

Question

我正在设置新的 Kafka 集群，出于测试目的，我创建了具有 1 个分区和 3 个副本的主题。

现在，我通过生产者并行地触发消息，比如每秒 50K 条消息。我在一个组内创建了一个消费者，它每秒只能获取 30K 条消息。

我可以更改主题级别、分区级别、消费者级别的配置。

我正在通过 grafana + prometheus 监控一切。

知道哪种配置或其他东西可以帮助我消费更多数据吗？

提前致谢

Answer 1

Kafka 消费者轮询代理以获取消息并获取可用于消费的任何消息，具体取决于使用的消费者配置。通常，如果您的目标是提高吞吐量，则在单个轮询请求中传输尽可能多的数据是有效的。但是在一次轮询中传输的数据量取决于消息的大小、记录的数量和一些控制等待消息可用的时间的参数。

通常，您可以使用以下一种或多种消费者配置来影响吞吐量：

fetch.min.bytes

max.partition.fetch.bytes

fetch.max.bytes

max.poll.records

fetch.max.wait.ms