我计划决定Kafka Cluster上应该有多少个节点.我不确定要考虑的参数.我确信它必须> = 3(复制因子为2,故障容忍度为1个节点).
有人可以告诉我在决定簇大小以及它们如何影响大小时应该记住哪些参数.
我知道以下因素,但不知道它如何定量影响簇大小.我知道它如何定性地影响簇大小.是否还有其他影响簇大小的参数？
1. Replication factor (cluster size >= replication factor)
2. Node failure tolerance. (cluster size >= node-failure + 1)
考虑所有参数时,后续场景的簇大小应该是什么
1. There are 3 topics.
2. Each topic has messages of different size. Message size range is 10 to 500kb. Average message size being 50kb.
3. Each topic has different partitions. Partitions are 10, 100, 500
4. Retention period is 7 days
5. There are 100 million messages which gets posted every day for each …
我有4台机器,其中Kafka群集配置了拓扑,每台机器有一个zookeeper和两个代理.
使用此配置,您对最佳主题和分区有何建议以获得最佳性能？
复制因子3:使用kafka 0.10.XX
谢谢？