Kafka最大连接数

Question

我们计划实施 Kafka 以从各种设备收集日志。我们预计会有大约 1 万台设备。我们可以将所有这些设备直接连接到 kafka 集群，还是应该通过日志服务器收集日志以限制与 kafka 的连接数量？我们计划为每种设备（Linux、Aix、Windows 2003、2008 等）设置一个主题，谢谢

Answer 1

我想说相关指标是每个 Kaka 节点每秒需要传送的消息数。它的基准测试非常好，每个节点每秒有数十万条消息，每个节点线性扩展。如果一两个节点不够，您可以随时添加更多节点以提高吞吐量。

具有 3 个节点的旧基准每秒处理 800k 消息（约 80 mb），每条消息都会复制到每个其他节点。

您可以在这里深入阅读更多内容： https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-third-cheap-machines

编辑：Kafka连接是幕后的tcp连接： https ://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocol#AGuideToTheKafkaProtocol-Network

引用：

Kafka uses a binary protocol over TCP. The protocol 
defines all apis as request response message pairs. 

Tcp 套接字连接非常轻量级，仅受所连接服务器的可用内存的限制。一些 Kafka 会线性扩展，您应该能够扩展代理并根据您预期的任何负载划分主题