向 SLES 10 服务器添加 60TB 存储

Question

我必须向 SLES 10 服务器添加一些存档\暂存存储。要求是提供相当大的容量（每个大约 9-20TB，总共 60TB 左右），用于存储包含大型图像文件（大部分为 150Meg Tiff）的存档数据（字面上，这是用于库）和大 tarball。数据将极大地偏向于读取 IO，当然 >95% 并且可能超过 99%。

存储已经购买 - 一个戴尔 MD3000 SAS 阵列菊花链与 2 个 MD1000 完全填充 2TB 7200 RPM SATA 驱动器，总共 45 个驱动器。阵列堆栈使用两个双端口外部 SAS 适配器连接，即有 4 条路径到堆栈。

我的目的是将这些配置为一组 4 个卷，位于 4 个 RAID 组上，每个阵列有一个热备用。所有组都将是具有 7 个或 14 个驱动器的 RAID 6，并且每个 RAID 组将显示为使用该组中所有容量的单个 LUN。在 SLES 端，这些需要格式化为 XFS 卷。

我对 SLES（以及一般的 Linux）的经验有限，我正在寻找有关此的一些建议，特别是：

1. 在 SLES 10 下配置这种大小的 XFS 卷时，是否有任何需要注意的特定事项，即，鉴于 IO 配置文件，默认设置是否正常？
2. 初始化\分区\格式化这些的最佳方法是什么？我使用 Parted 设置磁盘标签，并使用 YAST 分区管理器（接受所有默认值）为我的初始测试创建和格式化 XFS 卷。
3. 如何设置多路径？当我展示初始测试卷时，它显示为四个独立的设备（/dev/sdl、/dev/sdm、/dev/sdn 和 /dev/sdn）。我该怎么做才能将其作为单个卷使用？
4. 在我的初始测试中，我看到来自现有 EMC Clariion SAN 卷的传输速率约为 30Meg/sec。这比我预期的要低得多，即使考虑到 RAID 6 写入损失，我预计会在 70-100Meg/sec 的范围内看到一些东西。
5. 我如何判断一切是否正常 - 我应该在哪里查找错误\警告等？例如，YAST 分区编辑器需要很长时间才能启动，我想了解原因。
6. 您会对此进行不同的分区和\或使用不同的文件系统，如果是这样，为什么？

服务器是戴尔 2950 - 我没有检查详细的规格，但顶部显示利用率最多徘徊在低个位数。

Answer 1

在我之前的工作中，我们也遇到过类似的问题。我们正在为天文馆进行制作，每帧为 64 兆像素。很多大图像。这些将通过计算机集群上的非常积极的读取操作为每个剧院进行处理。

本例中的服务器具有类似的存储设置。多个外部直连 RAID 阵列。其中每个都位于暴露给主机的 RAID6 卷中，并添加到 LVM（逻辑卷管理器）下的 VG（卷组）中。然后，每个节目/制作都会获得自己的 LV（逻辑卷），格式为 XFS，我们将根据需要随项目一起扩展。

如果您的数据集非常静态或以可预测的方式增长，那么这种方法应该很适合您。但要小心这种方法确实有一个缺点。您最终必须对存储中的 LV 进行微观管理。一些管理员更喜欢这种方式，但其他管理员会尽力避免这种方式。但这允许您随着数据集的增长而增长每个 LV 和 XFS 文件系统。保持 XFS 卷尽可能小，这样您就不会陷入需要数年时间才能完成的 fsck。如果文件系统出现问题，还可以充当损害控制的角色。

免责声明：如果我今天要进行此设置，我将使用 OpenSolaris 和 ZFS。主要是因为它避免了微观管理问题，并且是一个出色的文件系统/卷管理器。所以您可能也想看看。