标签: storage-area-network

在我们的 VM 基础架构中，我们将集群主机连接到 SAN。

我想弄清楚的是在我们的 Redhat 服务器中删除文件时会留下多少“空白”。在我们的 Windows 服务器上，我们使用 sdelete 并解决了这个问题，但是对于 Linux，我很难找到解决方案。

我将“空白”定义为部门？剩下的没有清零，SSD 驱动器必须先清零，然后才能写入。

我要指出的一件事是，当谈到 Linux 时，我知道很危险，但我不是超级用户。

查看驱动器和分区：

[root@rhserver1-DATA10 /]# fdisk -l

Disk /dev/sda: 53.7 GB, 53687091200 bytes, 104857600 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x0005d52e

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048     1026047      512000   83  Linux
/dev/sda2         1026048   104857599 …

我有一个用作 SAN 存储的 linux 盒子。它配备了 14 个 SATA HDD，它运行的唯一软件是 iSCSI 目标和 zabbix 代理。这是物理盒子，不是虚拟机。

安装的 RAM 大小为 128 GB，swap 被安排为 4 GB，当 RAM 很大时没有人关心它的大小，但是随着机器运行（正常运行时间为 694 天）swap 越来越多地使用，现在它用于~80%。

htop 不会显示任何不好的东西，看起来操作系统使用 RAM 作为缓存等swappiness设置为 10，然后设置为 1，没有任何帮助。当然我可以完全禁用交换，但看起来这将是一个糟糕的举动。

所以我的问题很简单，如何将盒子设置为使用 RAM 而不是使用交换，以及为什么它在 RAM 足够的情况下完全使用交换？

这是 SAN，所以它服务的是块而不是文件，所以缓存可以基于块来完成，如果 RAM 有限，可以轻松减少，无论如何它不会影响 iSCSI 的逻辑。

Zabbix 说现在我有可用的 RAM = 123.22 GB（嘿，几乎都是 128 GB！），使用的交换是 3.24 GB 的 4 GB。

可能的重复：
在 Windows 上使用什么是好的 SSH 服务器？

SF 社区中的任何人都可以推荐一个值得信赖/易于设置的 Windows SCP 服务器。我不想经历设置 Cygwin 的麻烦，但我需要在 Windows 上运行 SCP。

总而言之，我们的网络具有非常高的防火墙，并且 SSH 端口仅允许通过使用 Linux/Unix 端的 RSA 密钥的双因素身份验证的跳转服务器，并且默认情况下会阻止 FTP。

无需为数十个 SAN 交换机请求防火墙规则来进行固件升级，我希望在基于 Windows 的主 DCFM 服务器上运行一个 SCP 服务器，以允许我使用我的中央存储库执行 SAN 交换机固件升级，但没有必须到处请求 FTP 访问。

有任何想法吗？

我熟悉通过向结构添加更多交换机来扩展结构，但我不明白为什么有时在结构之间进行路由会更好（考虑到所有交换机都来自同一供应商，使用完全相同的 FC 协议等）。

例如，我有一个带有来自供应商 A 的存储阵列的结构。来自供应商 B 的新存储已经配置，并且不是扩展当前结构，而是选择在新旧结构之间进行路由。

是否有关于织物最大尺寸的最佳实践？什么时候最好使用 SAN 路由而不是扩展当前结构？

长期读者，第一次提问:)

我已经阅读了很多关于 iSCSI 和 SAN 的一般信息，我相信我已经能够回答我关于该主题的大部分问题和疑虑，但这个问题仍然存在：

您如何“备份 SAN”？

接下来是一个或多或少的真实世界场景以及我对它的想法和问题。

假设您设法说服小型（最好是中型）公司的管理层最终为小型但合适的存储解决方案（即基于 iSCSI 的 SAN）提供资金。假设它由一个在机箱中具有许多驱动器并运行 OpenFiler 的服务器组成，甚至是 MD3000i (Dell) 或 MSA2000i (HP)，据我所知，它们是最常见的入门级解决方案。

LUN 被导出到需要存储代码存储库、文档、图像等的服务器、另一台运行几个数据库的服务器、另一台使用 LUN 作为虚拟化来宾磁盘（Xen 中的 DomU）的服务器以及另一台服务器通过 NFS 导出一个包含用户主目录的大 LUN（这是一个纯 Linux 商店）。优点很明显，我相信：单个服务器不需要大量的本地存储，服务器或服务的迁移变得更容易。

但是现在您需要为所有或大部分存储数据制定备份解决方案。你怎么做呢？您是否在每台需要备份数据的服务器上运行备份软件（我喜欢 rsnapshot）？你把这些数据放在哪里？在具有大量本地存储的专用备份服务器上？还是回到SAN？备份 SAN 的“通用”解决方案是什么（如果有）？

我正在寻找比我有更多运行 SAN 经验的人的最佳实践和建议。

谢谢！

编辑：考虑到 SAN 的预算一开始就非常有限，我想我正在寻找非专有、非常通用且廉价的备份问题解决方案。无论如何，如果存在这样的解决方案。磁带或第二个相同的 SAN 阵列不会有任何资金。应该更明确地说，对不起。

我们目前正在考虑购买 SAN，并且对我们将要放入阵列中的磁盘速度有一些担忧。我们通常每次都会购买超过 10k 的 15k 磁盘，但其中一位供应商告诉我们，我们不会注意到 2 之间的太大差异，而且价格差异很大。

我们正在寻找带有 SAS 磁盘的 HP 2040 或 4400 san。我们不会看到磁盘之间有太大差异，如果没有，为什么？

我将有 3-4 台服务器，它们都需要 SAN 访问才能实现 IOPS 性能和原始存储容量。限制是，成本。我见过的任何 9TB 或更高容量的解决方案都要花费 10,000 美元以上。如果我要自己构建，如果支出限额为 5000-7000 美元，您会推荐什么硬件以及应该使用什么软件？

这将都是 linux 环境。

像许多其他地方一样，我们要求用户不要将文件保存到他们的本地机器上。相反，我们鼓励将它们放在文件服务器上，以便其他人（具有适当权限）可以使用它们并正确备份文件。

这样做的结果是，大多数用户的大硬盘驱动器基本上都是空的。现在是2010年。肯定有一个系统可以让您将空白空间变成虚拟 SAN 或文档库？

我设想的是一个客户端程序，它被推送到与中央服务器协调的用户 PC 上。该服务器在用户看来就像一个普通的文件服务器，但它不保留整个文件内容，它只是记录可以在不同用户 PC 中找到这些文件的位置。然后它与正确的客户端协调以提供文件请求。客户端软件将能够直接响应此类请求，并且足够智能以在本地缓存最近的文件。对于冗余，服务器可以确保将文件复制到多台 PC，也许允许您在不同位置定义组，以便整个存储库的实例位于每个组中，以防止在一栋建筑物中发生灾难并摧毁其他所有东西。

显然你不会把你的数据库服务器指向这里，但对于更简单的事情，我看到了几个优点：

• 文件通常可以从较近（或本地）的机器传输。
• 分布网络连接，而不是将所有文件传输集中在一个连接上
• 磁盘空间会随着您的公司自动增长。
• 最终应该更便宜，因为您不需要保留一组单独的磁盘

我也可以看到一些缺点：

• 如果计算机必须在繁忙时段提供或接受大文件传输，则用户 pc 性能偶尔会下降。
• 写入必须在网络上多次传播（尽管我怀疑这不是什么大问题，因为在大多数地方读取比写入更多）
• 仍然需要一种方法偶尔将数据的完整副本发送到异地，这会使差异化变得非常困难

将此视为完全位于您公司 LAN 中并利用您现有用户设备的云存储系统。

我们旧的主文件服务器将在大约 2 年后退役，我正在考虑用一个小型 SAN 替换它。我们当前的文件服务器使用了大约 400GB 的 1TB 共享空间。因为我们的备份空间有限，所以我们只把它缩小到那么小。我希望在更换后将可用空间扩展到至少 4TB，如果价格像我预期的那样下降，可能会更多。我想像这样的东西会更合适。作为一所学校，我们有几个计算机实验室可以让我继续运行，它们非常适合为这样的系统添加一点额外的冗余。

除了极少数例外，我们的用户在他们的 120GB 硬盘驱动器中填充了不到 40GB，这意味着我可以轻松地为每台机器预留 65GB。而且这只会增加，因为更新的机器配备 250Gb 驱动器，甚至那些很快就会变得更大。到更换文件服务器时，考虑到我们的桌面更换计划，我希望这样的系统能够提供 5TB 的可用存储空间，甚至允许冗余和历史记录。

不幸的是，我能找到的最接近的东西是Dienst，它只是一篇可以追溯到 1994 年的论文。我只是在搜索中使用了错误的流行语，还是真的不存在？如果没有，我错过了一个很大的缺点吗？

我们为我们的光纤通道结构准备了一对新的 8Gb 交换机。这是一件好事，因为我们的主数据中心的端口已经用完了，这将使我们能够在两个数据中心之间运行至少一个 8Gb ISL。

当光纤运行时，我们的两个数据中心相距约 3.2 公里。几年来，我们一直在获得稳定的 4Gb 服务，我非常希望它也能维持 8Gb。

我目前正在研究如何重新配置​​我们的结构以接受这些新交换机。由于几年前的成本决定，我们没有运行完全独立的双回路结构。完全冗余的成本被认为比不太可能的交换机故障停机时间更昂贵。那个决定是在我之前做出的，从那时起事情并没有太大改善。

我想借此机会使我们的结构在遇到交换机故障（或 FabricOS 升级）时更具弹性。

这是我正在考虑的布局图。蓝色项目是新的，红色项目是将被（重新）删除的现有链接。

_{（来源：sysadmin1138.net）}

红色箭头线是当前的 ISL 交换机链路，两个 ISL 都来自同一交换机。EVA6100 当前连接到两个具有 ISL 的 16/4 交换机。新交换机将允许我们在远程 DC 中拥有两个交换机，其中一些远程 ISL 正在迁移到新交换机。

这样做的好处是每台交换机与另一台交换机的距离不超过 2 跳，并且两个 EVA4400 之间的距离为 1 跳，这两个 EVA4400 将处于 EVA 复制关系。图表中的 EVA6100 是一个较旧的设备，最终将被替换，可能会被另一个 EVA4400 替换。

图表的下半部分是我们大多数服务器所在的位置，我对确切位置有些担忧。里面需要什么：

• 10 台 VMWare ESX4.1 主机
  • 访问EVA6100资源
• 一个故障转移群集（文件服务器群集）中的 4 个 Windows Server 2008 服务器
  • 访问EVA6100和远程EVA4400上的资源
• 第二个故障转移群集中的 2 个 Windows Server 2008 服务器（Blackboard 内容）
  • 访问EVA6100资源
• 2 个 MS-SQL 数据库服务器
  • 访问 EVA6100 …

随着 VMFS5 不再有 VMFS 卷的 2TB 限制，我正在考虑哪种情况总体上更有利：-

• 较大尺寸的较少 LUN，或
• 更多大小更小的 LUN。

就我而言，我有一个带有 600GB 磁盘的新 24 磁盘存储阵列。我将使用 RAID10，所以大约为 7.2TB，并试图决定是使用 1 个大的 7TB 数据存储，还是每个 1TB 的多个存储。

每种方法的优缺点是什么？

更新：当然，我在计算中忽略了热备件，所以它会略低于 7.2TB，但总体思路是相同的。:-)

更新 2：有 60 个虚拟机和 3 个主机。我们的 VM 都不是特别 I/O 密集型的。它们中的大多数是 Web/应用程序服务器，还有监控（munin/nagios）、2 个负载最小的 Windows DC 等。数据库服务器很少被虚拟化，除非它们的 I/O 要求非常低。现在我认为我们唯一的虚拟数据库服务器是一个 MSSQL 机器，那个机器上的数据库小于 1GB。

更新 3：有关阵列和 FC 连接的更多信息。该阵列是一个 IBM DS3524，有 2 个控制器，每个控制器有 2GB 缓存。每个控制器 4 个 8Gbit FC 端口。每个 ESXi 主机都有 2 个 4Gbit FC HBA。