文件服务器 - 存储配置:RAID vs LVM vs ZFS 其他...?

pri*_*uff 36 linux raid ubuntu file-server

我们是一家从事视频编辑等工作的小公司,需要一个地方来保存大型媒体文件的备份副本并使其易于共享。

我有一个装有 Ubuntu Server 和 4 个 500 GB 驱动器的盒子。他们目前将 Samba 设置为四个共享文件夹,Mac/Windows 工作站可以很好地看到这些文件夹,但我想要一个更好的解决方案。这有两个主要原因:

  1. 500 GB 真的不够大(有些项目更大)
  2. 管理当前设置很麻烦,因为各个硬盘驱动器具有不同数量的可用空间和重复数据(用于备份)。这是混淆了现在,一旦有多个服务器只会变得更糟。(“该项目位于 share4 中的 sever2”等)

因此,我需要一种方法来组合硬盘驱动器,以避免由于单个驱动器故障而导致数据完全丢失,因此用户在每台服务器上只能看到一个共享。我已经完成了 linux 软件 RAID5 并且对它有不好的体验,但会再试一次。LVM 看起来不错,但似乎没有人使用它。ZFS 看起来很有趣,但它相对“新”。

什么是最有效和风险最小的方法来组合对我的用户来说方便的硬盘?


编辑:这里的目标基本上是创建包含任意数量硬盘但从最终用户角度限制复杂性的服务器。(即他们看到每台服务器一个“文件夹”)备份数据在这里不是问题,但每个解决方案如何响应硬件故障是一个严重的问题。这就是为什么我将 RAID、LVM、ZFS 和谁知道是什么混为一谈的原因。

我之前使用 RAID5 的经验也是在 Ubuntu Server 机器上进行的,并且有一组棘手且不太可能的情况导致数据完全丢失。我可以再次避免这种情况,但感觉我正在向系统添加一个不必要的额外故障点。

我没有使用过 RAID10,但我们使用的是商品硬件,每盒最多的数据驱动器几乎固定在 6 个。我们有很多 500 GB 驱动器,1.5 TB 非常小。(不过,仍然是至少一台服务器的选项)

我没有使用 LVM 的经验,并且阅读了关于它如何处理驱动器故障的相互矛盾的报告。如果(非条带化)LVM 设置可以处理单个驱动器故障,并且只丢失存储在该驱动器上的文件的一部分(并且仅将大多数文件存储在单个驱动器上),我们甚至可以接受。

但是只要我必须学习一些全新的东西,我还不如一路走上 ZFS。但是,与 LVM 不同的是,我还必须更改我的操作系统 (?),以便增加我所在位置和我想要所在位置之间的距离。不过,我在 uni 使用了一个版本的 solaris,但并不介意。

在 IT 领域的另一端,我想我也可以探索 FreeNAS 和/或 Openfiler,但这并不能真正解决如何组合驱动器的问题。

Chr*_*ell 30

LVM 实际上被大量使用。基本上,LVM 位于硬件(驱动程序)层之上。它不会增加任何冗余或增加可靠性(它依赖于底层存储系统来处理可靠性)。相反,它提供了许多额外的灵活性和附加功能。LVM 永远不会看到磁盘消失或出现故障,因为磁盘故障应该由 RAID(无论是软件还是硬件)来处理。如果您丢失了磁盘并且无法继续操作(重建 RAID 等),那么您应该进行备份。永远不需要尝试从不完整的阵列中恢复数据(如果是,则需要重新评估整个设计)。

使用 LVM 可以获得的功能包括轻松扩展和收缩分区/文件系统的能力、动态分配新分区的能力、对现有分区进行快照以及将快照安装为只读或可写分区的能力。快照非常有用,特别是对于备份之类的事情。

就我个人而言,我对我构建的每个机器上的每个分区(/boot 除外)都使用 LVM,并且在过去的 4 年里我一直在这样做。当你想添加或修改你的磁盘布局时,处理非 LVM 的盒子是一个巨大的痛苦。如果您使用的是 Linux,那么您肯定希望使用 LVM。 [注意:LVM 上的上述内容已更新,以更好地解释它是什么以及它如何适合存储方程。]

至于RAID,我不做没有raid的服务器。由于磁盘价格如此便宜,我会选择 RAID1 或 RAID10。更快、更简单、更健壮。

老实说,除非您已与 Ubuntu 结合(我通常会推荐),或者如果该框正在执行其他任务,您可能需要查看OpenFiler。它将您的盒子变成一个带有 Web 界面的存储设备,并会为您处理所有 RAID/LVM/等,并允许您将存储导出为 SMB、NFS、iSCSI 等。简单的设置。

  • 我支持 OpenFiler 的建议。似乎永远跟不上所需的磁盘空间量,将服务器与数据分开可以使最终用户体验和管理变得更加容易和更好。Netapp 如此成功是有原因的。我建议遵循该模型。 (2认同)

Wij*_*and 14

ZFS 非常可靠,它确实让您的存储管理变得容易多了。作为奖励:smb 与 OpenSolaris 中的 ZFS 集成在一起,它可以很好地处理 Raid。等几天,下载当时发布的2009.6版本并在测试机上试一试。我相信你会喜欢 ZFS。

关于您的评论 ZFS 是新的:不再是新的了!

  • 其他操作系统上的 ZFS 支持严重缺乏功能。事实上,OpenSolaris 是一个非常好的操作系统,但请使用真正的 OpenSolaris。zfs set sharedmb=on backup/share1 非常好的集成。 (3认同)

小智 9

核心问题是:“这些数据有多重要?”

如果答案是“我可以轻松地重新创建它”,那么您需要 RAID5,为了简化管理,可能在它上面加上 LVM。

如果答案是“我可以重新创建它,但需要一段时间并且人们会抱怨”,那么您需要 RAID 6 或更可能的 RAID 1/10。

如果答案是“当我重新创建它并确保它有点完美时没有人做任何工作”你想要 ZFS/Raid-Z

请注意,您始终可以重新创建它。RAID 不是备份。


waz*_*oox 5

要在同一个机箱中连接大量驱动器,硬件 RAID 控制器是最好的工具。它将为您的驱动器提供大量 SATA 连接器,通过 RAID-5 或最好是 RAID-6 进行冗余,并且还可以提供更好的性能。

在基准测试中,软件 RAID 性能通常优于硬件 RAID,但是文件服务和软件 RAID 都是 CPU 密集型的,并且在工作时会与处理器竞争。我的经验表明,除非您使用双四核系统,否则正确配置的硬件 RAID 将击败软件 RAID。

具有良好 linux 支持的良好硬件控制器:

  • 槟榔
  • 3Ware
  • 新的 Adaptec 系列(旧的是 slooooow)
  • LSI MegaRAID

  • 我要谈谈 3ware 卡,它们特别糟糕,尤其是 9650se 和 9690se,在 9650se 上使用了两种类型的卡,最多 16 个驱动器,没有真正的问题,并且产品稳定。 (2认同)