大型网站如何服务于数百万用户？（例如谷歌）

Question

我很欣赏这个问题可能含糊不清/太宽泛，但我正在寻找基本原则/摘要。

例如，像 Google 或 Facebook 这样的网站如何处理它收到的数十亿次页面浏览量？

我知道循环 DNS，据我所知，它为访问者 A 提供一个 IP，然后以循环方式为访问者 B 提供另一个 IP，依此类推。

这些站点是否运行多个（数百个？）服务器，每个服务器上都有“google”网站的副本，并且全部同步？

尝试总结一下 - 拥有数百万页面浏览量的大型网站如何实际处理流量？它们是如何维护的？在哪里可以获得设置此功能的经验？

我想了解更多信息，但实际上不需要这样的设置，我发现很难获得案例研究或材料以了解更多信息。

希望这在一定程度上有意义。谢谢。

Answer 1

总结：航空公司航班计划等大型企业客户使用 Oracle、Sun、IBM Bladecenters 和自定义代码，eBay、Twitter、Facebook、Google 等大公司则使用一切定制的内容，无论他们能做什么，并保密，因为它是这是他们必须解决的非常困难的事情之一，才能使他们的公司成为可能。

--

小型网络服务器已经变得非常普遍，您通常会看到像 Apache、Tomcat 或 IIS 这样的网络服务器，并且可能在其背后有一个数据库（PostgreSQL、SQL Server 或 MySQL），也可能有一个编程层（PHP、 Python、Ruby、Java 等）。

对于更大但仍然较小的设置，您可以将这些层分离到不同的服务器中 - 两个运行 Apache 的服务器都查看同一个共享文件，两个运行数据库，每个服务器中各有一半的数据，也许另一个执行缓存，或者也许您只是让它们变得强大只要你能负担得起。这可以让您走得更远 - Plenty of Fish 于 2007 年进入 HitWise 网站 100 强，每小时提供超过 200 万次浏览，使用 1 台服务器并将图像托管外包给 Akamai。

如果您很富有，例如政府、航空业等，您可以通过使用大型专业服务器（例如刀片中心、具有数十个处理器的 Sun 服务器、存储设备中的数十个磁盘和 Oracle 数据库）从这里进行扩展。 ， ETC。

对于其他人来说，如何以低成本扩大规模的问题仍然没有答案。他们如何做到这一点是他们公司的核心问题之一，他们将花费大量精力进行定制。

它可能包括让许多数据库服务器参与进来的有趣方法。不是谷歌，他们在上面编写了自己的文件系统和数据库替换。您可能会看到分片（AM 在一台服务器中分割内容，NZ 在另一台服务器中分割）或复制（所有服务器具有相同的数据，读取来自其中任何服务器，写入到所有服务器）或自定义的内容。

它可能由许多缓存服务器组成，例如运行 Memcached。这些将拥有大量 RAM，并快速返回最近完成的数据库查询和最近请求的文件。2008 年，Facebook 表示“我们使用 800 多台（memcached）服务器，为我们的用户提供超过 28 TB 的内存。” 关联

您可能会找到一些 CDN 服务（内容交付网络），例如 Akamai，您将所有图片提供给他们，他们将它们传播到世界各地，您链接到它们并自动从他们的网络提供距离用户最近的图片。

您还会发现很多自定义代码和努力工作但保守秘密的人们。为 eBay 拍卖提供服务意味着处理大量流量，但单个拍卖项目的数据大多是静态的，但搜索 eBay 拍卖意味着大量数据处理。谷歌搜索网络意味着大量的数据处理，但以不同的方式处理——不同的数据存储在不同的服务器上。Facebook 意味着大量信息会交叉传播给大量用户，Twitter 也是如此，但具有不同的特征。谷歌和 Facebook 设计了自己的服务器硬件。