卡夫卡：我们的分区数量疯狂吗？

Question

我们有3个主机的Kafka群集。我们有136个主题，每个主题都有100个分区，复制因子为3。这使整个集群中有13,600个分区。
这是我们主题的合理配置吗？

Answer 1

太多了 您应该问自己是否拥有（或计划很快拥有）足够多的消费者实例来需要那么多分区。然后，如果您确实打算拥有13,000个消费者实例，那么您将在哪种硬件上运行这些代理，以便它们能够为那么多消费者提供服务？甚至在您考虑1.1之前的许多分区的其他影响之前，https：//www.confluent.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/

在我看来，这100是个整数，似乎是对未来的证明。我建议从每个主题开始使用低得多的数字（例如说2或10），然后看看您是否真的遇到了需要更多分区的规模问题，然后才尝试跳至专家模式。您以后可以随时添加更多分区。