Kafka 中的性能测试

Question

有人可以解释一下如何使用 Kafka 测试性能吗？

bin/kafka-consumer-perf-test.sh --topic benchmark-3-3-none \
--zookeeper kafka-zk-1:2181,kafka-zk-2:2181,kafka-zk-3:2181 \
--messages 15000000 \
--threads 1

和

bin/kafka-producer-perf-test.sh --topic benchmark-1-1-none \
--num-records 15000000 \
--record-size 100 \
--throughput 15000000 \
--producer-props \
acks=1 \
bootstrap.servers=kafka-kf-1:9092,kafka-kf-2:9092,kafka-kf-3:9092 \
buffer.memory=67108864 \
compression.type=none \
batch.size=8196

我不清楚参数是什么以及应该获得的输出是什么。我如何检查是否向 Kafka 主题发送了 1000 条消息、其性能和确认。

Answer 1

我宁愿建议使用专门的性能测试工具，例如Apache JMeter和Pepper-Box - Kafka Load Generator，以便对 Kafka 安装进行负载测试。

通过这种方式，您将能够完全控制线程、启动时间、消息大小和内容等来执行负载。您还可以生成HTML 报告仪表板，其中包含带有有趣指标的表格和图表。

如果需要，请参阅Apache Kafka - 如何使用 JMeter 进行负载测试一文，了解更多详细信息。