标签: software-raid

我已经设置了一个由 4 * 2 TB 磁盘组成的 Linux 软件 raid 级别 5。磁盘阵列是使用 64k 条带大小创建的，没有其他配置参数。在初始重建之后，我尝试创建一个文件系统，这一步需要很长时间（大约半小时或更长时间）。我尝试创建一个 xfs 和 ext3 文件系统，都花了很长时间，使用 mkfs.ext3 我观察到以下行为，这可能会有所帮助：

• 写inode表运行很快，直到达到1053（~1秒），然后写了大约50，等待两秒，然后写下50（根据控制台显示）
• 当我尝试使用 Control+C 取消操作时，它会在真正取消之前挂起半分钟

单个磁盘的性能非常好，我分别在每个磁盘上运行 bonnie++，写入/读取值约为 95/110MB/s。即使我在每个驱动器上并行运行 bonnie++，这些值也仅减少了大约 10 MB。因此，我通常将硬件/I/O 调度排除在问题来源之外。

我为 stripe_cache_size 和 readahead size 尝试了不同的配置参数，但没有成功，但我认为它们与文件系统创建操作无关。

服务器详细信息：

• Linux 服务器 2.6.35-27-generic #48-Ubuntu SMP x86_64 GNU/Linux
• mdadm - v2.6.7.1

有没有人有关于如何进一步调试的建议？

我有一个 RAID1 当前在单个硬盘驱动器上运行（是的，没有镜像）。是否可以使用以下算法重新组织我的系统？

1. 我设置了另一个单磁盘 RAID1（到另一个相同类型的 HDD），对其进行分区并在其上安装一个新的 Debian 实例。
2. 我安装了旧的单磁盘 RAID1 设置并将所有数据从它复制到新的 RAID。
3. 然后我重新格式化旧磁盘并将其包含到新的 RAID 设置中。

我主要怀疑第二点 - 我该怎么做？

我最近在文件服务器中的 5 驱动器 RAID 上开始恢复，它说需要 691 分钟以上才能完成。我想知道如果机器断电 - 比如说停电，这个过程会发生什么？我是否需要再次重新启动恢复过程？我会丢失整个 RAID 数据吗？

另外，如果我在扩充 RAID 的过程中断电了会发生什么？

在创建一个linux软件raid设备作为raid10设备时，我很困惑为什么必须对其进行初始化。实际上，同样的问题适用于 raid1 或 raid0。

最终，大多数人会在其上放置某种文件系统，并且该文件系统不应假设磁盘数据的任何状态。每次写入都会影响 raid10 或 raid1 设置中的两个磁盘，其中写入了 N 个镜像。应该没有任何理由最初初始化 raid10，因为它会随着时间的推移而发生。

我可以理解为什么对于需要奇偶校验的 raid5/6 设置，但即使如此，这似乎也可以懒惰地完成。

只是为了让人们感觉更好吗？

在我的本地文件服务器上，我在 7x HDD 驱动器上安装了 raid-6。

dd if=/dev/zero of=tempfile bs=1M count=2048 conv=fdatasync

本地速度测试给了我 349 MB/s 的写入速度。

从 SSD 远程写入 Samba（> 2Gb/s 读取速度）给了我 259 MB/s 的写入速度。但是远程写入 iSCSI 驱动器（在 Win10 iSCSI 启动器上）仅提供 151 Mb/s 的写入速度。

raid6 配置 - 128K 块大小，stripe_cache_size = 8191。写入意图位图在 SSD 上（三星 860 PRO，4096K 位图块）。

使用选项安装的阵列： rw,noatime,nobarrier,commit=999,stripe=128,data=writeback

open-iscsi 设置：目标基于 4Tb 文件。

任何提示为什么 iSCSI 在写入时比 Samba 慢？关于如何提高 iSCSI 写入速度的任何提示？

我认为这与 open-iscsi 在每次操作后刷新写入磁盘的愿望有关，由于过多的奇偶校验重写，这增加了 raid6 上的写入放大。但我不知道如何解决它。在断电的情况下，速度比当前写入数据的安全更重要。

作为旁注，较旧的 ietd iSCSI 目标能够启用回写模式（使用 IOMode=wb），并且持续写入速度要快得多。不幸的是，它目前似乎没有维护。

关于 SSD 和 TRIM 的相关问题（请参阅：可能使 SSD TRIM（丢弃）在 Linux 中的 ext4 + LVM + 软件 RAID 上工作？），事实证明 dmraid 现在（或很快）可能支持 RAID-1 上的 TRIM。

通常，我们使用 md（通过 mdadm）创建我们的 RAID-1 卷，然后使用 LVM 创建卷组，然后使用我们选择的文件系统（最近的 ext4）进行格式化。我们多年来一直这样做，Google 和 ServerFault 搜索似乎证实这是使用卷管理进行软件 RAID 的最常见方法。

Google 搜索似乎表明 dmraid 用于所谓的“fakeRAID”配置，其中在控制器中以 RAID BIOS 的形式提供某种级别的硬件“帮助”，而我们没有（并且不想使用） - 我们想要一个完整的软件解决方案）。

由于我们想在我们的 SSD 上使用 TRIM，而且由于 md 似乎（还？）不支持 TRIM，我想知道是否可以使用 dmraid 而不是 md 来创建 RAID-1（和 RAID-1 +0) 软件卷，没有硬件支持（即，只是插入一个愚蠢的 SATA/SAS 总线）？

我注意到我的软件 RAID1 降级了，想弄清楚阵列中的两个磁盘中的哪一个正在重建/重新同步，因为它们都显示为已启动。我希望有人能对此有所了解，如果甚至有可能找出软件 RAID1 中的哪些磁盘已降级并被重建。

# cat /proc/mdstat
md1 : active raid1 sda2[0] sdb2[1]
  955789176 blocks super 1.0 [2/2] [UU]
  [==============>......]  resync = 72.2% (690357504/955789176) finish=4025.9min speed=1098K/sec

md0 : active raid1 sda1[0] sdb1[1]
  20970424 blocks super 1.0 [2/2] [UU]

unused devices: <none>

# mdadm --detail /dev/md1
/dev/md1:
        Version : 1.0
  Creation Time : Fri Dec  7 04:55:25 2012
     Raid Level : raid1
     Array Size : 955789176 (911.51 GiB 978.73 GB)
  Used Dev Size : 955789176 (911.51 GiB 978.73 GB)
   Raid …

我想知道如果（例如）有人使错误的硬盘发生故障，是否有可能消除 RAID 1 中的“故障”状态。

我已经用谷歌搜索了答案，并找到了几个重新创建数组并添加“假设干净”的教程，但我无法在正在运行的系统上执行此操作。那么是否有可能在将硬盘从突袭中移除之前“取消故障”？

我有一个使用 md 的 linux 软件 RAID。我想列出我所有的 RAID 阵列和连接到它们的每个硬盘驱动器。有没有简单的方法来做到这一点？

TL;DR 服务器的原始 SAS HBA（PCIe 卡）不支持透明直通，这是需要的，因为我希望操作系统管理磁盘 (ZFS)。

在我公司，我们有一台带有 SRCSAS144E RAID 控制器的 Intel SSR212MC2 服务器（规格表）。这台机器闲置不用，我计划在可能部署它之前对其进行一些实验。

显然，SRCSAS144E 控制器仅支持向操作系统呈现 RAID 卷。创建 12 个单卷 RAID0 组对我来说似乎非常不雅，当我意识到磁盘无法移动到另一台服务器时，怀疑证实了这一点（请参阅hba for software raid 的已接受答案）。

因此，如果我对 SAS 的有限理解是正确的，我可以购买另一张卡（例如这张卡），将其放在现有卡的位置，然后将来自 SAS 扩展器的电缆插入其中。归根结底，操作系统应该会看到每个单独的设备，对吗？

Linux 内核需要驱动程序来与卡通信，但我认为主流设备支持这种普通设备。还有什么我需要注意的吗？