哪个文件系统适用于大型 LVM 磁盘 (8 TB)？

Question

我有一个带有许多 2 TB 磁盘的 Linux 服务器，目前都在一个 LVM 中，导致大约 10 TB 的空间。我在 ext4 分区上使用了所有这些空间，目前有大约 8.8 TB 的数据。

问题是，我的磁盘经常出现错误，即使我更换（也就是说，我用 dd 将旧磁盘复制到新磁盘，然后我将新磁盘放入服务器），一旦出现错误，它们，我经常会收到大约 100 MB 的损坏数据。这使得 e2fsck 每次都变得疯狂，并且通常需要一周时间才能让 ext4 文件系统再次处于正常状态。

所以问题是：您建议我将什么用作 LVM 上的文件系统？ 或者你会推荐我做什么（我真的不需要 LVM）？

我的文件系统的配置文件：

许多不同总大小的文件夹（有些总计 2 TB，有些总计 100 MB）
近 200,000 个不同大小的文件（其中 3/4 大约为 10 MB，1/4 在 100 MB 和 4 GB 之间；我目前无法获得更多关于文件的统计信息，因为我的 ext4 分区已经完全损坏了几天）
读多但写少
而且我需要容错（我停止使用 mdadm RAID 因为它不喜欢在整个磁盘上出现一个错误，而且我有时会出现故障磁盘，我会尽快更换，但这意味着我可以在我的文件系统）

主要问题是磁盘故障。我可以丢失一些文件，但我不能同时丢失所有文件。

如果我继续使用 ext4，我听说我最好尝试制作更小的文件系统并以某种方式“合并”它们，但我不知道如何。

我听说 btrfs 会很好，但我找不到任何关于它如何在不复制数据（mkfs.btrfs -d single？）时丢失磁盘的一部分（或整个磁盘）的线索。

欢迎任何有关该问题的建议，提前致谢！

Answer 1

这不是文件系统问题，而是磁盘的物理限制。这是一些数据：

SATA 驱动器通常指定的不可恢复读取错误率 (URE) 为 10^14。这意味着即使磁盘工作正常，每 12TB 也有 1 个字节将不可恢复地丢失。

这意味着如果没有 RAID，即使没有驱动器发生故障，您也会丢失数据- RAID 是您唯一的选择。

如果您选择 RAID5（总容量 n-1，其中 n = 磁盘数），它仍然不够。使用由 6 个 2TB HDD 组成的 10TB RAID5，您每年有 20% 的机会发生一个驱动器故障和单个磁盘故障，由于 URE，您将有 50% 的机会成功重建 RAID5 并恢复 100% 的数据.

基本上，由于磁盘容量大且 URE 相对较高，即使单个磁盘出现故障，您也需要 RAID6 来确保安全。

等等，URE 表示不可恢复的 **Read** 错误，但这并不意味着磁盘实际上 *HAS* 错误。下一次读取可能（并且可能会）返回正确的位。操作系统可能只会重新读取扇区并获得正确的数据。您还忘记谈论 SMART：在扇区永久损坏之前，SMART 将尝试从中读取/写入数据。如果它检测到太多故障，SMART 只会将扇区的内容移动到另一个位置并将该扇区标记为 *BAD*，并且没有人能够再次写入。 (3认同)

Answer 2

帮自己一个忙，为您的磁盘使用 RAID，甚至可以是带有 mdadm 的软件 RAID。还要想一想为什么“经常在磁盘上出错”——这是不正常的，除非您使用廉价的台式机级 SATA 驱动器而不是 RAID 级磁盘。

在那之后，文件系统不再那么重要了——ext4、xfs 都是不错的选择。

所以你是说你的数据不值得额外的费用？如果您负担不起至少有两个数据副本，那么您应该考虑将其丢失。你说得对，RAID5 可能不是一个好的选择，你应该看看 RAID6 或 RAID10。 (4认同)

Answer 3

我在 ZFS 上很幸运，您可以检查它是否在您使用的任何发行版上可用。公平警告，这可能意味着重建整个系统，但它提供了非常好的性能和容错性。

Answer 4

我逐步添加更大尺寸的新磁盘

由于您对使用 LVM 很感兴趣，并且想要处理多个驱动器，因此简单的答案是仅使用 LVM 中的镜像功能。只需将所有物理卷添加到 LVM 中即可。创建逻辑卷时，请传递该--mirrors选项。这会复制您的数据。

另一种选择可能是只设置几个 RAID1 对。然后将所有 RAID1 卷作为 PV 添加到您的 VG。然后，每当您想扩展存储空间时，只需购买一对磁盘即可。

Answer 5

您确实应该使用 RAID 5、6、10、50 或 60。以下是一些帮助您入门的资源：

关于 RAID 的背景信息

操作方法和设置

查看我的美味链接以获取其他 RAID 链接：http : //delicious.com/slmingol/raid