用于大文件服务器的 Linux 文件系统

Question

我想从更有经验的人那里知道，对于具有超过 20TB 硬盘的文件服务器来说，最好的文件系统选择是什么。就我个人而言，我总是在我的个人计算机和“小服务器”BOOT 和 ROOT 磁盘上使用 EXT3（过去）和 EXT4（自从可用以来）[曾经使用过 ReiserFS 3，尽管它导致了许多数据损坏]。

然而，由于 EXT4工具（虽然不是 EXT4 本身）仅限于 16TB 分区，这可能不是我最好的选择。发行版将是 Debian 6.0 (Squeeze) 和/或 Gentoo（最新版本），所以内核应该是最新的（至少在 Debian 上有向后移植），这意味着 linux 内核 >= 2.6.32。

文件服务器将用于三个目的（以及分开的分区，因为目的是保持数据“安全”并且不太关心开销）。 所有磁盘都使用 LUKS 加密：

1. 媒体、下载和本地 debian 存储库 [我至少有 6 台机器运行 Debian] > 20TB（可能进一步分离媒体、下载和 Debian 存储库）
2. 数据（文档、照片等）~ 4TB SAFE（意为 raid1 或 raid6 + 备份磁盘）
3. 备份 >= 20 TB 用于在我的千兆局域网中备份其他计算机（你能推荐一个可以备份整个操作系统的软件，即使它是 Windows，BackupPC 说它会这样做，还有其他选择吗？）

高速并不是真正必要的（并发访问：最多 2 或 3 个大文件，比如视频），即使它“只是”从 10 个硬盘 Raid6 读取 200MB/s 我可以忍受。

总之，我正在寻找一个可靠的、可扩展的（即易于扩展的）文件系统，它支持超过 20TB/分区。FS 越安全可靠越好。使用的硬件至少是四核（amd x4 630 或 intel i5-2500k）和充足的 RAM（>8GB，也许>16GB），因此应该满足硬件要求。

我的 PC/服务器将连接到 UPS（不间断电源）以防断电 也 可以在不同的机器（即两台服务器）上进行媒体和备份。

Answer 1

很多人都建议使用 ZFS。但 ZFS 在 Linux 下本身是不可用的，除非通过 fusion。对于性能可能很重要的情况，我不建议这样做。

不幸的是，除非以某种方式解决许可问题，否则 ZFS 永远不会作为本机内核模块提供。

XFS 很好，但有些人报告了腐败问题，我对此无法发表评论。我使用过小型 XFS 分区，没有遇到这些问题，但在生产中没有。

ZFS 有太多不容忽视的优点和有用的功能。总之，它们是（有关它们含义的完整描述，请参阅ZFS Wiki ）：

• 数据的完整性
• 存储池
• L2ARC
• 大容量
• 写入时复制
• 快照和克隆
• 动态条带化
• 可变块大小
• 轻量级文件系统创建
• 缓存管理
• 自适应字节顺序
• 重复数据删除
• 加密

那么我们如何解决这个问题呢？我建议的可能适合您情况的替代方案是考虑nexenta。这是一个 Open Solaris 内核，其上运行着 GNU 用户空间工具。拥有 Open Solaris 内核意味着 ZFS 本身可用。