文件共享网站如何存储如此大量的数据？

Question

我指的是像 megaupload.com、rapidshare.com 这样的文件共享网站和像 download.com、filehippo.com 这样的软件下载网站。

他们需要存储大量 TB 的数据，他们也需要这样的带宽。我不会将它们与 Google、雅虎、亚马逊等公司进行比较，因为它们都是大公司，并且拥有自己的庞大硬件设置。

他们（megaupload/filehippo）如何存储如此大量的数据？这些使用什么技术和硬件架构？

PS：我的兴趣是我想建立自己的软件下载网站，比如filehippo.com。

Answer 1

嗯，他们有……很多硬盘。

该Backblaze博客讨论他们如何做同样的事情（他们卖无限备份存储）。

Answer 2

其实，你所看到的，并不是现实中的 :)

文件共享站点没有 TB 级的数据，但大约有 10-500 TB 的数据。您可能听说过许多托管公司为您提供无限空间，这是一个大谎言。因为没有无限空间这样的东西。他们只有几百 TB 的存储空间，可以肯定的是，不是每个用户都有 TB 的数据要存储在网络空间中。大多数用户托管 100MB 到 2-5GB 的数据/网站。大量数据用户的数量相当少。

来点他们使用什么？他们简单地拥有 SAN（存储区域网络），其中每台服务器都有大约 4TB 到 20TB 的磁盘空间。它们都通过光纤通道或千兆以太网连接。在前端，他们有 Web 应用程序，它利用了这个 SAN 网络的空间。

当你要从头开始时，对于前端 Web 应用程序，你可以使用任何适合你的高端服务器，而在后端，你可以使用 FreeNAS（这是免费的开源企业级）构建自己的 NAS/SAN存储管理操作系统）。您可以在其中添加大量 TB 的廉价驱动器，并且您的几 TB 的小型网络已准备就绪。根据流量和使用情况，您可以根据需要继续添加更多空间。