5个代理中kafka主题的最佳分区数,在1个集群中复制因子= 3

Question

什么是最优的没有.具有5个代理和复制因子= 3的主题的分区？此群集中只有6个主题.

每个代理运行的计算机配置如下.

Memory=16gb
Porcessor= Octacore, Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz

除了每个主题1000个分区的打开文件以外的任何挑战？

Answer 1

从Kafka 1.1.0开始，建议每个代理最多拥有4000个分区，每个集群最多拥有200000个分区。在这里阅读更多。

请注意，即使您可以创建大量分区，也并不意味着您的硬件就能支持它。确保根据负载扩展群集硬件（CPU，RAM，HDD等）。