150 TB 并且还在增长，但如何增长？

Question

我的团队目前有两台大型存储服务器，两台 NAS 都运行 debian linux。第一个是已有几年历史的一体式 24 磁盘 (SATA) 服务器。我们在其上设置了两个硬件 RAID，并在其上设置了 LVM。第二个服务器是 64 个磁盘，分为 4 个机箱，每个机箱都是硬件 RAID 6，通过外部 SAS 连接。我们使用 XFS 和 LVM 来创建 100TB 的可用存储。所有这些都运行得很好，但我们正在超越这些系统。构建了两个这样的服务器并且仍在增长，我们希望构建一些东西，让我们在未来增长、备份选项方面具有更大的灵活性，在磁盘故障时表现更好（检查更大的文件系统可能需要一天或更长时间），并且可以承受在高度并发的环境中（想想小型计算机集群）。我们没有系统管理支持，

因此，我们寻求的是一种相对低成本、可接受的性能存储解决方案，它将允许未来的增长和灵活的配置（想想具有不同操作特性的不同池的 ZFS）。我们可能超出了单个 NAS 的范围。我们一直在考虑将 ZFS（例如在 openindiana 上）或每个服务器的 btrfs 与运行在其上的 glusterfs 结合起来，如果我们自己做的话。我们正在权衡的只是咬紧牙关并投资于 Isilon 或 3Par 存储解决方案。

任何建议或经验表示赞赏。

Answer 1

我希望这会有所帮助。我尽量不让它变成一堵完整的文字墙。:)

3Par/Isilon

如果您可以并且愿意为担任 SAN 管理员角色并希望通过夜间睡眠而不是夜间工作享受无痛生活的人投入固定数量的工时，那么这就是我要走的路。

SAN 可以让您完成单个“存储”会限制您的所有事情（即将一个 purestorage 闪存阵列和一个大型 3par sata 怪物连接到同一台服务器），但您也必须为此付费并保持良好的维护如果你想利用灵活性的时间。

备择方案

扩增数据

优点：横向扩展、便宜、设计有很好的概念和专用的读/写缓存层。这实际上可能是对你最好的事情。

涨潮操作系统

他们的目标软件现在几乎用于所有 linux 存储，并且它允许比普通的 linux / gluster 东西更好的管理。（恕我直言）商业版可能值得一看。

Gluster/btrfs

PRO：横向扩展和“Bricks”为您提供了一个非常有利于管理的抽象层。

CON：第一个对我来说是一个完整的 PITA。它并不健壮，故障可能是一块砖的局部故障，也可能是所有的东西。现在，有了 RedHat 的控制，它实际上可能会变成有用的东西，我什至遇到了可以驯服它以便它可以工作多年的人。第二个仍然是半实验性的。通常，FS 在“完成”之后需要 3-4 年，直到它被证明和强大。如果你关心数据，你为什么要考虑这个？说到实验性，Ceph 的商业支持现在几乎结束了，但是你需要坚持“RBD”层，FS 还没有经过充分的测试。我想说明的是，从长远来看，Ceph 更具吸引力。:)

ZFS

优点：肯定会在其他东西的棺材上钉钉子的功能。这些功能经过精心设计（想想 L2ARC）并且压缩/重复数据删除很有趣。拥有更多的“存储集群”意味着也只有小故障而不是一个大的综合繁荣

缺点：维护许多小型软件盒而不是真正的存储空间。需要集成它们并花费 $$$ 小时来拥有强大的设置。

Answer 2

XFS + LVM 路线确实是过去几年横向扩展纯 Linux 存储解决方案的最佳选择之一。我很高兴你已经在那里了。现在您需要增长更多，您确实有更多选择。

如您所知，大型硬件供应商确实有用于存储的 NAS 磁头。这确实会给你一个单一的供应商来实现这一切，而且它会工作得很好。它们是易于使用的解决方案（与 DIY 相比），并且它们的可维护性较低。但是，它们的成本相当高。一方面，您将拥有更多的工程资源来解决主要问题而不是基础设施问题；另一方面，如果你像我所知道的大多数大学部门一样，相对于支付现金，人力真的很便宜。

走 DIY 路线，您已经对可用的 DIY 选项有了很好的了解。ZFS/BTRFS 是 XFS + LVM 用于横向扩展存储的明显升级路径。我会避开 BTRFS，直到它在 Linux 主线内核中被声明为“稳定”，现在应该很快就会有几个主要的免费发行版正在使用它作为默认文件系统。对于 ZFS，我建议使用 BSD 基础而不是 OpenIndiana，因为它已经存在的时间更长并且问题（更多）已经解决了。

Gluster 是为您在此处描述的用例而设计的。它可以进行复制，也可以提供一个附加了大量存储的单个虚拟服务器。他们的分布式卷听起来正是您正在寻找的，因为它们将文件分布在声明卷上的所有存储服务器上。您可以继续添加离散存储服务器来继续扩展可见量。单一命名空间！

Gluster 的问题在于，当您的客户端可以使用 Gluster 客户端而不是 CIFS 或 NFS 选项访问系统时，它的效果最佳。由于您正在运行一个小型集群计算集群，您可能只能使用 GlusterFS 客户端。

你在这里走在正确的轨道上。