会发生什么:如果我编写一个服务器应用程序,它有数百万个线程的线程池支持,并且它每秒收到数百万个请求
我一直致力于开发 Web 服务。Web 服务部署在具有前端负载平衡器的 1000 台计算机上。负载平衡器的工作是在实际处理 Web 请求的服务器之间分配流量。所以我的问题是,由于在负载均衡器本身内部运行的进程必须是单线程来侦听端口上的 Web 请求,它如何处理每秒接受数百万个请求。负载均衡器可能正忙于委派任务,那么此时传入的请求会发生什么?
在我看来,所有客户端都不会被处理,因为只有一个请求处理线程将传入的请求传递给线程池
这样,任何多线程服务器都不应该工作。我想知道 facebook/amazon 是如何每秒处理数百万个请求的。