标签: raid

我正在设置一个需要 24/7 全天候访问但很少访问（存档存储）的服务器。为了节省热量/功率，我正在考虑使用 hdparm 将硬盘设置为降速。

但是，我想知道这是否会导致不可靠性，因为存储是 Linux RAID 10 阵列。即可能延迟旋转导致驱动器被踢出阵列。有没有这方面的经历/战争故事？

我有一台带有软件 RAID1 (2x3TB) 的 CentOS 6 服务器：

- sda

# parted /dev/sda unit s print
Model: ATA TOSHIBA DT01ACA3 (scsi)
Disk /dev/sda: 5860533168s
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start     End          Size         File system  Name  Flags
 1      2048s     1026047s     1024000s     ext4               boot
 2      1026048s  5860532223s  5859506176s                     raid

- sdb

# parted /dev/sdb unit s print
Model: ATA TOSHIBA DT01ACA3 (scsi)
Disk /dev/sdb: 5860533168s
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start     End          Size         File system  Name  Flags …

ReFS 是否使用基于 FPGA 的 XOR 引擎进行 RAID 奇偶校验计算？如果没有，是否有可能让它使用这种技术？

我正在为一个项目团队维护一个预配置的存储系统。存储由 RAID60 中的 36 x 8 TB HGST 磁盘（~240 TB 净）（RAID6 中的 2x18 个磁盘）组成，控制器是 MegaRAID SAS 9361-8i，OS=Scientific Linux 7.2

storcli64 /c0 /v1 show
DG/VD TYPE   State Access Consist Cache Cac sCC       Size Name
0/1   RAID60 Optl  RW     Yes     RWBD  -   ON  232.860 TB      

在运行每周计划的一致性检查时（或者如果我手动触发它们），我会收到很多不一致警告，但它们似乎从未得到修复 - 在下一次 cc 期间，相同的警告再次出现：

[root@faith ~]# grep 22649241 /var/log/message*
/var/log/messages:Oct 25 20:54:01 faith MR_MONITOR[1604]: <MRMON063> Controller ID:  0   Consistency Check found inconsistent parity on VD#012    strip:  #012    ( VD   =   1,   strip#012      =   22649241)
/var/log/messages-20161002:Sep 25 …

在了解 RAIDZ 的优势的过程中，我遇到了write hole的概念。

正如本页所解释的，写空洞是指在写入过程中断电时阵列磁盘之间出现的不一致。该页面还解释了它会影响 RAID-5/6（如果在写入数据后但在计算奇偶校验之前断电）和 RAID-1（数据写入一个磁盘而不是其他磁盘） ，而且它是一个只能要么再同步/擦洗，或其中一个磁盘的重建期间（灾难性）期间被检测到的隐蔽的问题...然而，大多数 的 所述 其他 来源谈论它，因为它仅受影响的奇偶基于 RAID 级别。

据我了解，我认为这也可能是 RAID-1 的一个问题，因为从包含该漏洞的磁盘读取将返回垃圾，所以...是否每个RAID 级别都有问题？它是否依赖于实现？它只影响软件 RAID，还是硬件控制器？（补充：mdadm这方面的票价如何？）

我在运行 Debian wheezy 和 GRUB 1.99-27+deb7u3 的 4 x 1 TB 驱动器的服务器上遇到问题。

sda 和 sdb 具有使用（Linux 软件）RAID1 镜像的分区，包括/boot. sdc 和 sdd 各有一个分区，为数据镜像一个 LVM 物理卷。GRUB 安装到 sda 和 sdb。我用mdadm于--fail和--remove1个TB SDC，并取代了旧的驱动器（一个ST91000640NS）用新的2 TB ST2000NX0243。

安装新驱动器后，GRUB 可以达到

GRUB loading.
Welcome to GRUB!

但无法显示菜单。sdc 上的驱动器指示灯持续亮起，因此推测 GRUB 核心正在尝试读取该驱动器，即使它不需要访问 /boot/grub。我试过两个相同型号的驱动器，都用 测试得很好smartctl，结果相同。在 sdc 驱动器托架为空的情况下，一切正常启动。系统从实时 USB 启动并且可以访问新驱动器，因此这不是硬件不兼容 (*)。我确定是 sdc 被删除了，并且没有迹象表明 BIOS 对驱动器进行了重新排序。

(*)这可能不是一个安全的假设。见答案。

所以我有以下相关问题：

1. 更改后的逻辑扇区大小（4096 而不是 512 字节）是否会导致问题，可能是在 GRUB 核心内置的 RAID 支持中？为什么我至少不会得到grub rescue>提示？4K 问题是否也会阻止将驱动器用于 Linux RAID？ …

我有一台带有 HPE p420i raid 控制器（2GB 缓存）的 DL360P g8 服务器。我们注意到通过raid 写入SSD 的速度非常慢。我在阵列中的相关驱动器是：

Volume 1 - RAID6
  * 6 x Intel 545s 120GB SSD SATA
Volume 2 - RAID0
  * 2 x Western Digital WD Black 1TB WD10JPLX SATA

我们注意到，当从 SSD 卷复制到 HDD 卷时，一切都像您预期的一样快。

但是，反向复制（HDD TO SSD）速度很糟糕。

我无法确定问题的原因以及解决方案。

额外注意事项：

  * OS: ESXI 6.7 / hpe
  * All disks are brand new (note: consumer grade, not enterprise)
  * The disks are SATA rather than SAS, however I cannot find anything …

我已经为 PostgreSQL 数据库设置了 ZFS RAID0。存储和实例位于 AWS EC2 和 EBS 卷中。

NAME   SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
pgpool   479G   289G   190G         -    70%    60%  1.00x  ONLINE  -
  xvdf  59.9G  36.6G  23.3G         -    71%    61%
  xvdg  59.9G  34.7G  25.2G         -    70%    57%
  xvdh  59.9G  35.7G  24.2G         -    71%    59%
  xvdi  59.9G  35.7G  24.2G         -    71%    59%
  xvdj  59.9G  36.3G  23.6G         -    71%    60%
  xvdk  59.9G  36.5G  23.4G         -    71%    60%
  xvdl  59.9G  36.6G  23.3G         -    71%    61%
  xvdm …

我是一名兼职系统管理员，几乎没有正式的文档。我们的主要文件服务器是在 2010 年由一个已经不在研究所的人建立的。当时的要求是拥有三个共享文件系统：/home每个用户都有配额和备份，/usr/remote用于大型软件包，以及一个/scratch没有配额和没有备份的文件系统。仔细研究磁盘，我发现了一个 LVM 和一个带有专有软件的 RAID 控制器。

该服务器显然有 14 个磁盘，每个磁盘的容量为 1 TB。它们使用 RAID 1 成对连接。 RAID 控制器（Areca Technology Corp. ARC-1280/1280ML 24-Port PCI-Express to SATA II RAID Controller）支持 RAID 5 和 6（规格），但不知何故没有被使用。然后一对用作该服务器的根分区，/. 其他六对链接到一个 LVM 组中，然后该组具有三个分区。

我询问了原因，其中一位资深人士只能告诉我，设置它的人应该知道相当一部分 LVM，并且真的考虑过这个问题。但是我看不到这种设置的优点。我只看到缺点：

• 我们有 12 个具有 1 TB 原始存储空间的磁盘，配对后我们最终只有 6 TB 的实际可用空间。将 RAID 5 与所有这些磁盘一起使用，我们将获得 11 TB 的存储空间，而使用 RAID 6 将获得 10 TB 的存储空间。即使我们将两组六个磁盘放入 RAID 6，那么它仍然是 8 TB 的可用空间。

• 最坏的情况是磁盘故障是一整对，然后部分 LVM 丢失，我认为基本上系统会被搞砸。最好的磁盘故障情况是每对中的一个，因此这将是七个损坏的磁盘。因此，在最坏的情况下，从冗余的角度来看，我们并不比 RAID 5 好。

使用 RAID …

TL;DR：我的管理程序存储存在一些性能问题。这里是一堆测试结果fio。跳到该Results部分阅读有关它们并查看我的问题。

概括

我最近购买了 R730xd，因此在迁移到它之前，我想确保存储性能最佳。我一直在用fio运行一些基准测试，并发现了一些令人震惊的结果。使用这些结果和fio-plot的组合，我收集了大量图形和图表，展示了我的各种存储后端的问题。

然而，我很难把它变成可用的信息，因为我没有任何东西可以比较它。而且我认为我遇到了一些非常奇怪的性能问题。

磁盘配置

以下是暴露给我的管理程序 (Proxmox) 的四种类型的存储：

?????????????????????????????????????????????????????????????????????????????????????????
?  Storage  ?            Hardware            ? Filesystem  ?        Description         ?
?????????????????????????????????????????????????????????????????????????????????????????
? SATADOM   ? 1x Dell K9R5M SATADOM          ? LVM/XFS     ? Hypervisor filesystem      ?
? FlashPool ? 2x Samsung 970 EVO M.2 SSD     ? ZFS RAID 1  ? Hypervisor Compute Storage ?
? DataPool  ? 6x HGST 7200RPM HDD            ? ZFS RAID 10 ? Redundant Data Storage     ?
? RAIDPool …