kafka 主题中理想的分区数是多少？

Question

我正在学习 Kafka 并尝试为我最近的搜索应用程序创建一个主题。推送到 kafka 主题的数据被认为是一个很大的数字。

我的 kafka 集群有 3 个代理，并且已经为其他需求创建了主题。

现在我应该为最近的搜索主题选择多少个分区？如果我没有明确提供分区号怎么办？选择分区号需要考虑哪些事项？

Answer 1

这将取决于您的消费者的吞吐量。如果您每秒生成 100 条消息并且您的消费者每秒可以处理 10 条消息，那么您将需要至少 10 个分区（生产/消费）和 10 个消费者实例。如果您希望此主题能够处理未来的增长，那么您需要将分区计数增加得更高，以便您可以添加更多消费者实例来处理新卷。

另一条建议是让您的分区数成为一个高度可整除的数字，以便您可以在保持负载平衡的同时扩大/缩小消费者。例如，如果您选择 10 个分区，那么您将必须拥有 1、2、5 或 10 个消费者实例，以使它们每次处理的分区数量相同。如果您选择 12 个分区，那么您可以平衡 1、2、3、4、6 或 12 个消费者实例。