在高流量环境中使用kafka生产者时的连接管理

Question

我将在每天超过十亿次请求的高流量环境中使用kafka.每个请求都将与kafka集群建立连接以发送消息.因此,每秒都会有如此多的连接.这可能会导致套接字超时等问题.生产者正在进行所有非持久性连接.因此在这种情况下可能存在套接字超时或端口耗尽问题.

大多数生态系统都在php中,所以我必须使用php库来实现kafka.现在如何有效地使用kafka生产者来缓解这种连接争用？

我想到了一个可以传递消息的守护进程,然后它会批量发送这些消息到kafka集群.另外一方面是连接数量有限.缺点是这种服务的响应延迟会妨碍应用程序.此外,我必须使用一些中间存储来保存消息.

现在我知道有很多极高容量的应用程序/站点使用kafka来直接传输消息.你们中的任何一个人都可以指导我如何解决这些问题吗？在这种情况下持久连接可以帮助吗？在如此高容量的环境中使用kafka-producer的php库本身是个坏主意吗？

Answer 1

我们还使用kafka java库，我们这样做就像@apatel所说，我认为在你的情况下，你可以尝试使用php应用程序向你的服务器提供一些sidecar，sidecar将在启动时创建Producer，Kafka java驱动程序将管理多个连接。这是一些关于 Netflix 的 sidecar 应用程序Netflix Prana的有趣文章