标签: fibre-channel

我需要一双新鲜的眼睛。

我们正在使用一条 15 公里的光纤线路，光纤通道和 10GbE 跨该线路复用（无源光 CWDM）。对于 FC，我们有适合长达 40 公里的长距离激光器（Skylane SFCxx0404F0D）。多路复用器受 SFP 的限制，该 SFP 最多可以执行。4Gb 光纤通道。FC 交换机是 Brocade 5000 系列。FC 的相应波长为 1550、1570、1590 和 1610nm，10GbE 的波长为 1530nm。

问题是 4GbFC 结构几乎从不干净。有时，即使流量很大，它们也会持续一段时间。然后它们可能会突然开始产生错误（RX CRC、RX 编码、RX 差异，...），即使它们只有边际流量。我附上了一些错误和交通图。当流量为 1Gb/s 时，错误目前大约为每 5 分钟 50-100 个错误。

这是总结的一个端口的功率输出（使用sfpshow不同的交换机收集）

SITE-A 单位=uW（微瓦） SITE-B
**************************************************
FAB1
SW1 TX 1234.3 RX 49.1 SW3 1550nm (ko)
      接收 95.2 发送 1175.6
FAB2
SW2 TX 1422.0 RX 104.6 SW4 1610nm（正常）
      接收 54.3 发送 1468.4      

在这一点上，我觉得奇怪的是功率水平的不对称性。SW2以1422uW发射，SW4以104uW接收，而SW2仅以54uW接收与原始功率相近的SW4信号。

SW1-3 反之亦然。

无论如何，SFP 的 RX 灵敏度低至 …

FC 交换机如何工作，我应该如何配置我的交换机？

我做存储，所以我做了很多纤维。我也很不幸有一个带单股的接线板，所以当其他人为我做接线时，我持有的两条线中哪一条最终会成为 tx（发送），哪一条将是rx（接收）。我们有一个颜色代码：黄色的应该是“热的”。偶然地，它被跟踪了不到一半的时间。

我知道我的数据中心中的绝大多数有源电缆都在发送可见的、无害的光。这就是为什么我看到很多人在查看一根或另一根电缆，知道它是安全的。问题是我也很少有非常危险的激光，我不建议射入某人的手，更不用说他们的眼睛了。其中之一在可见光波长之外，强度足以在 80 公里外读取。

测光表会告诉你一根线是否被点亮，但我们只有一个，而且通常被其他人使用。将它照在纸上或手上是另一种技术，但我很难看到它。我见过一些人随身携带的小卡片，但我没有，也不想随身携带，我每周只需要一次。

无需特殊设备即可判断电缆上是否有灯的最佳方法是什么？

我们为我们的光纤通道结构准备了一对新的 8Gb 交换机。这是一件好事，因为我们的主数据中心的端口已经用完了，这将使我们能够在两个数据中心之间运行至少一个 8Gb ISL。

当光纤运行时，我们的两个数据中心相距约 3.2 公里。几年来，我们一直在获得稳定的 4Gb 服务，我非常希望它也能维持 8Gb。

我目前正在研究如何重新配置​​我们的结构以接受这些新交换机。由于几年前的成本决定，我们没有运行完全独立的双回路结构。完全冗余的成本被认为比不太可能的交换机故障停机时间更昂贵。那个决定是在我之前做出的，从那时起事情并没有太大改善。

我想借此机会使我们的结构在遇到交换机故障（或 FabricOS 升级）时更具弹性。

这是我正在考虑的布局图。蓝色项目是新的，红色项目是将被（重新）删除的现有链接。

_{（来源：sysadmin1138.net）}

红色箭头线是当前的 ISL 交换机链路，两个 ISL 都来自同一交换机。EVA6100 当前连接到两个具有 ISL 的 16/4 交换机。新交换机将允许我们在远程 DC 中拥有两个交换机，其中一些远程 ISL 正在迁移到新交换机。

这样做的好处是每台交换机与另一台交换机的距离不超过 2 跳，并且两个 EVA4400 之间的距离为 1 跳，这两个 EVA4400 将处于 EVA 复制关系。图表中的 EVA6100 是一个较旧的设备，最终将被替换，可能会被另一个 EVA4400 替换。

图表的下半部分是我们大多数服务器所在的位置，我对确切位置有些担忧。里面需要什么：

• 10 台 VMWare ESX4.1 主机
  • 访问EVA6100资源
• 一个故障转移群集（文件服务器群集）中的 4 个 Windows Server 2008 服务器
  • 访问EVA6100和远程EVA4400上的资源
• 第二个故障转移群集中的 2 个 Windows Server 2008 服务器（Blackboard 内容）
  • 访问EVA6100资源
• 2 个 MS-SQL 数据库服务器
  • 访问 EVA6100 …

我正在采购我们公司的第一个 SAN，因为我们需要高可用性/共享存储。我注意到光纤通道交换机非常昂贵，为了实现冗余，我们将需要其中的 2 个，低端成本约为 12000 美元。我们正在查看的 SAN (HP MSA 2040) 带有 8 个光纤通道端口，我们总共只需要 6 个（每个 ESXi 服务器 2 个 * 3）。

所以我的问题是：

• 我们可以直接将 SAN 连接到服务器 HBA 并跳过交换机吗？

• 我们是否仍能通过来自所有服务器的直接连接使用 vMotion 和 High Availability？

我有一个通过光纤通道连接到 Linux 机器的 SAN 存储阵列的严重问题。这是配置：

• Debian 与普通 vanilla linux 2.6.27.25
• 光纤控制器 QLogic 4Gb 双端口（基于 ISP2432）

基本上问题是：如何得到这个#?@!! FC 控制器/驱动程序可以正确识别存储阵列的配置更改（新的或删除的 LUN）？

1. 当我在我的阵列上创建一个新的 LUN（通常是一些现有 LUN 的快照）并将它映射到我的 HBA 时，我无法正确识别它：rescan-scsi-bus -l -w -r实际上检测到一些东西（一个通用的 /dev/sgXX 设备）但是没有块设备已创建 (/dev/sdXX)。

2. 发出 LIP 并手动重新扫描时，同样的事情：

   回声 1 > /sys/class/fc_host/host6/issue_lip

   echo "- - -" > /sys/class/scsi_host/host6/scan

3. 如果我删除现有的 LUN，则发出 LIP 和重新扫描或 rescan-scsi-bus 都不会产生任何影响。以前的设备保留在那里，当然不起作用（“file -s /dev/sdXX -> I/O error”）。

4. 重新加载 qla2xxx 驱动程序有效。但是在生产环境中是完全行不通的。

显然，这是QLogic 的一个非常常见的问题。存在某种解决方案，仅当使用仅适用于 RedHat 和 Suse 企业发行版的 QLogic 发布的驱动程序时才有效：请参阅此说明。

附加信息 ：

这是 LIP 和重新扫描之前的 scsi 设备：

# …

我的团队正在寻找大量存储空间。我们传统上使用连接大容量 FC 的 SAN，但它们价格昂贵，并且提供的性能比我们需要的要高得多。

我们想要高度可用的共享存储，如果它像本地桌面级驱动器一样运行，那很好。

是否有共享磁盘解决方案可以让我们更慢但更大的磁盘？

我们喜欢NexSan SataBeast，但他们没有完全全球化的存在，这使得支持很尴尬（我们是一家全球公司）。

您有推荐的这种类型的存储吗？我们更愿意使用 FC 附加存储，但我们愿意接受建议。

谢谢，

哇。

编辑：为了回答澄清请求，我们希望

• 全球可用的硬件支持
• 数十 TB 具有生长能力
• 高可用：能够通过常见故障提供服务，因此：
  • 热插拔驱动器
  • 多路径IO
  • 主动/主动控制器
  • 任何像这样具有低成本/收益比的东西
• NFS 可能只是一个选项，具体取决于 HA 和性能
• 价格：不惜一切代价，但尽可能少

基本上，我想知道价格-性能-可用性的 3D 图表目前是什么样的。如果有尖锐的指数曲线，我会对那些肘部的系统感兴趣。

如下所述，这可以通过一组 PC 级硬件服务 iSCSI 和主机级软件 RAID6 来完成。这证明，无论 EMC 高端存储阵列的成本如何，都可能太多了。

试图让我了解光纤通道帧是如何通过交换结构实际填充和发送的。我了解WWNN WWPN，WWNN 是实际HBA 的WWN，而WWPN 是卡上实际端口的WWN。因此，如果一个 HBA 有 4 个端口，它们都共享相同的 WWNN，但具有不同的 WWPN。尽管如此，仍然不确定 WWNN 在哪里与结构中的通信有关。其次，新的 N_port 节点尝试登录到结构并获得动态 FCID 分配的 FLOGI 进程。在 PLOGI 完成后，N 端口节点可以提交它的 WWPN。这保持了 WWPN 与 FCID 的关系....

最后，FC 寻址是域 ID、区域 ID 和端口 ID 的组合。全部 8 位。我的理解是它用于定位接口在结构中的位置？因此，如果我有两个交换机域 1 和域 2，0100000 将意味着第一个交换机区域 00 和端口 00？

此外，我仍然不确定主机如何发送到另一台主机。查看 FC 帧，有 Destination ID 和 Source ID 字段，它们是 24 位 FC 地址或 FCID。我的问题是这些 DestID 和 SourceID 是由主机 HBA 还是由 FC 交换机填充？我以为主机只从 HBA 知道它自己的 WWNN 和 WWPN？

其次，我在光纤通道框架中没有看到 WWNN 或 WWPN 发挥作用的任何地方。除非它们只在FLOGI和PLOGI过程中使用以获得动态FCID。

谢谢你的帮助。欣赏它。

PS 我正在使用 Cisco MDS …

是否可以通过光纤通道动态公开整个 SCSI 主机（LSI HBA 或 RAID 卡），如果可以，如何公开？

最好在 Linux（可能是 targetcli）上并支持磁盘热插拔。（即拔出/重新插入目标中的磁盘，启动器会看到更改）

我的 FC HBA 是两个 QLogic QLA2462 卡。

如果我在 FC [编辑] LUN 上运行 VMWare 5.x，该 LUN 由在 7 模式下运行 ontap 8.x 的 Netapp 提供，我应该采取哪些步骤来确保 VM 能够承受最坏的集群节点故障转移情况？HBA 设置？ESX 设置？对虚拟机设置的修改？我知道这一切都由 Netapp 的主机套件处理，但我们想知道它在做什么和/或自己做。

Netapp 上的 cf 接管通常很快，但在某些情况下可能长达 3 分钟。