将 mdadm 切换到外部位图

Question

我刚刚在另一篇关于提高 RAID5/6 写入速度的文章中读到了这个：

增加条带缓存并切换到外部位图后，我的速度是 160 Mb/s 写入，260 Mb/s 读取。:-D

我已经找到了如何增加条带缓存的方法，而且效果很好，但我想了解更多有关外部位图的信息。我有一个非常快（540MB/s）的 RAID0 SSD，如果位图按照我认为的那样做，它会做得很好，但我仍然非常不确定。我只是在知道这篇文章时才知道他们。

几个问题：

• 什么是位图（就 mdadm 而言）？
• 内部位图（相对于外部）有哪些优点？
• 外部位图（相对于内部）有哪些优点？
• 我如何在两者之间切换？

我应该补充一点，虽然这是一个让我感到无聊的线程，但我确实重视存储在 RAID 阵列上的数据。如果这样做会使数据面临重大风险，请告诉我。

Answer 1

什么是位图：

mdadm 位图，也称为“写入意图位图”，是一种在非正常关机或移除并重新添加磁盘后加速 RAID 重建的机制。

使用位图，将数据写入 RAID 的过程如下：

• 更新位图：将要写入的 RAID 块标记为脏。
• 将数据写入 RAID。
• 更新位图：将刚刚写入的 RAID 块标记为干净。

位图的优点是，如果系统在写入过程中出现故障，重建只需要检查标记为脏的块，而不是整个多 TB RAID。这可以加快重建过程，从需要几个小时到只需几秒钟即可完成。

缺点是正常使用（外部重建）下的写入性能较低，因为 mdadm 会执行额外的磁盘访问来更新位图。

外部与内部：

• external：作为文件存储在 RAID 之外的磁盘上。与内部位图相比的优势是在正常使用（外部重建）期间更好的写入性能。
• 内部：存储为 RAID 元数据。相对于外部位图的优势在于您不需要非 RAID 磁盘，并且可以节省一些配置（位图的路径）。

根据 mdadm 手册页：

Note:  external bitmaps are only known to work on ext2 and ext3.
       Storing bitmap files on other filesystems may result in  serious
       problems.

根据mdadm 作者Neil Brown的帖子，外部位图也应该适用于 ext4：

I haven't looked inside ext4 but I am fairly confident that external bitmaps 
will work properly.

如何：

使用 来添加和删除位图mdadm --grow --bitmap=XXX ...，其中 XXX 是以下之一：

• --bitmap=internal: 创建一个内部位图。
• --bitmap=/var/my_bitmap.bin: 在指定路径创建外部位图。该路径必须位于 RAID 之外。bitmap=...中的 ARRAY 条目必须添加一个参数/etc/mdadm/mdadm.conf，--bitmap=...如果您从命令行组装 RAID，则必须传递该参数。
• --bitmap=none：删除/禁用任何位图。

参考：

• 如何：加速 Linux 软件 Raid 构建和重新同步
• mdadm 手册页- 见标志-b, --bitmap=
• mdadm.conf 手册页- 请参阅选项bitmap

注释：

IMO，位图可能主要用于 RAID 级别 5 和 6，因为它们的重建速度最慢。

我自己从 RAID 5 切换到RAID 10；重建速度非常快，我觉得不需要位图，而 RAID 10 似乎首先需要更少的重建。

我的 RAID 5 设置曾经每月丢弃一次磁盘，导致 12-14 小时的重建。RAID 10 半年只掉一次盘，不到一个小时就重建了。

我不知道我遇到的频繁掉盘是否是由 RAID 级别以外的其他原因引起的，但 RAID 10 已经稳定得多，并且重建速度不再是什么大问题。