FaceBook如何搭建12+硬盘的服务器

Question

来自FB 博客：

...部署在商品存储刀片之上。2U存储刀片的典型硬件配置是——

• 2 个四核 CPU
• 16GB – 32GB 内存
• 具有 256MB – 512MB NVRAM 缓存的硬件 raid 控制器
• 12+ 1TB SATA 驱动器

有人可以确切地告诉我他们使用了哪些部件。

我知道你可以买到可以占用 2 个 CPU 的主板，我可以买到可以容纳 16 GB 内存的主板，但是我如何连接 12 个驱动器？

Answer 1

十二个 1TB 驱动器？花生，想大了！:)

Texas Memory Systems推出了RamSan-6200 SSD 系统，该系统在 40U 机架配置中提供高达 100 TB 的基于闪存的存储，可以维持创纪录的每秒 500 万次输入/输出 (IOPS) 和每秒 60 GB 的吞吐量，同时使用功率略高于 6 千瓦。

所有这一切都以 440 万美元的高价出售，你听到了吗，圣诞老人？:)

（也许 RAMinSANe 会是一个更好的名字）

但是，如果您只使用 12 个驱动器就可以了，那么您将获得一个不错的带控制器的 SATA 12 驱动器机箱（速度 > 500MB/s），大约 1.000 美元

Answer 2

我讨厌挖掘这样一个老问题，但这些答案需要帮助。有许多不同的 2U 机箱具有 12x3.5" 热插拔托架（3 个垂直 x 4 个水平 - 请参阅 Supermicro 的 SC826），甚至有些还具有一两个内部托架（http://www.servaris .com/servers_m2100.php。它很密集，但并非不可能。如果你想有点疯狂，Supermicro 的 SC847 支持 45 个 4U（无主板）或 36 个 E-ATX 主板的热插拔驱动器托架，有人制作机箱（RMC5D2）带有 48 个垂直热插拔托架，可容纳 E-ATX 板，我认为 5U 中有 7 个全尺寸卡。

我相信这是针对Facebook 的 Haystack照片系统，他们使用 RAID 6 控制器连接 2U 机架式服务器中的 12 个驱动器。您可以购买仍支持 12 个驱动器或使用转接卡的薄型驱动器。作为2012 年 IPO 申请的一部分，他们透露他们正在存储“超过 100 PB”的照片和视频。即使使用较新的 4 TB 和 6 TB 驱动器，这些机器也很多。

Facebook 还使用 100+ PB Hadoop 系统来分析网站上发生的一切（每天多 TB）。它跳过 RAID 磁盘阵列，通过将大文件拆分为 64MB 块并将每个块写入多台机器，使整个机器变得冗余。为此，您可以获得一个带有 8 个端口的主板，并便宜地添加 4 个非 RAID 端口。我很确定这些机器没有那么多驱动器，但该技术基于 Google 正在做的事情。Google 确实拥有可容纳 12 个驱动器 RAID 的机器的机架，以及许多有趣的计算机设计。它们几乎大到足以让定制零件成为商品硬件的批量订单。

您可以在此处观看 Facebook 不同类型服务器上的视频。

Facebook 最近推出了 Open Vault 存储系统，该系统支持 2U 开放式机架中的 30 个驱动器（相同的整体机柜宽度，但内部宽度为 21 英寸，而标准为 19 英寸）。有 2 个独立的 1U 托盘可从机箱中拉出，每个托盘有 15 个驱动器（5 宽 x 3 深）和 2 个 SAS 扩展器。YouTube 上的一段视频展示了一个系统，其中 30 个 3.5" 驱动器托架中的每一个都装有 2x2.5" SSD，当与 12G SAS 结合使用时，这将提供一些强大的 IO 能力。根据SSD厂商的说法，单个单元可以支持500万次IOPS。一个装满的机柜将支持超过 9000 万 IOPS 和 170 GB/s 带宽（接口受限）和 1 PB SSD 存储（多达 3.2 PB 的氦气旋转磁盘）。如果你只是想将它用于一个非常棒的 NAS，那么'

更有趣的是，Facebook 正在尝试使用蓝光进行冷存储（数据访问量很少，如果有的话）。他们的原型系统有 10,368 个磁盘，每个磁盘可容纳 100GB 并存储大约 1 PB 的数据。他们有一个机器人拾取器，可以从一个装有 24 个弹匣的架子上取放光盘，每个弹匣有 36 个弹药筒，每个弹药筒有 12 个光盘。一旦他们解决了错误并调整了功能，我预计 10,000 光盘蓝光转换器将成为开放计算项目的一部分。