IPMI 边带如何与主机共享以太网端口？

Question

我们有许多具有 IPMI/BMC 功能的 Supermicro 机器。其中一些机器使用板载 BMC，而其他机器使用附加卡。

我们正在考虑使用边带，因为它降低了成本和布线要求。然而，一些边带细节不太合理。

边带需要一根以太网电缆，该电缆插入主板上的以太网端口。此网络端口随后在 IPMI 系统和操作系统之间共享。从我在Supermicro 手册中读到的内容中，“使用与 LAN1 相同的 MAC 地址用于 SIMSO IPMI 卡”。但是，IPMI 必须具有与操作系统不同的 IP 地址。

怎么可能有两个设备（操作系统和 IPMI）可以在同一个物理网络端口上侦听和传输？当数据包到达接口时，系统如何确定此数据包是用于操作系统还是用于 IPMI 系统？

这些数据包是否完全由 CPU 处理，使用 CPU 中断？操作系统可以查看到IPMI接口的数据包吗？

Answer 1

我使用板载 IPMI 管理许多 SuperMicro 服务器。我与共享（又名边带）以太网有爱/恨的关系。一般来说，这些事情的工作方式是 LAN1 似乎有 2 个（不同的）MAC 地址 - 一个用于 IPMI 接口，另一个用于标准 Broadcom NIC。到 IPMI 接口（第 2 层，基于 MAC 地址）的流量在操作系统级别以下被神奇地拦截，并且永远不会被任何正在运行的操作系统看到。

您已经为他们找到了一个好处：减少布线。现在让我介绍一些缺点：

• 以安全的方式将 IPMI 接口划分到单独的子网中特别困难。由于所有流量都通过同一条电缆传输，因此您（几乎）始终必须在同一 IP 子网上拥有 IPMI 接口和 LAN1 接口。在最新的主板上，IPMI 卡现在支持将 VLAN 分配给 IPMI NIC，因此您可以获得一些分离的外观 - 但底层操作系统始终可以嗅探该 VLAN 的流量。较旧的 BMC 控制器根本不允许更改 VLAN，尽管 ipmitool 或 ipmicfg 等工具表面上可以让您更改它，但它不起作用。
• 您将故障点集中在系统上。在交换机上进行配置并设法以某种方式切断自己的电源？恭喜，您现在已经通过 IPMI 切断了到服务器的主要网络连接和备份。网卡硬件故障？恭喜，同样的问题。
• 早期的 SuperMicro IPMI BMC 因使用网络接口做一些奇怪的事情而臭名昭著。是使用板载还是专用 IPMI 端口通常在开机（而不是重新启动）时确定，并且不会从那里切换。如果您停电并且您的交换机没有足够快地供电，您最终可能会导致 IPMI 无法工作，因为它会自动检测到错误的设置。
• 我个人遇到过很多奇怪的、无法解释的连接问题，使边带 IPMI 可靠地工作。有时我根本无法在几分钟内 ping 接口 IP。有时我会在分配的 VLAN 上收到大量数据包，但流量似乎都被丢弃了。

虽然这与 sideband-vs.-dedicated 无关，但我还会注意到用于访问主机系统的工具编写得非常糟糕。较旧的 IPMI 卡不支持本地身份验证以外的任何其他内容，这使得密码轮换非常痛苦。如果您使用的是 KVM-over-IP 功能，那么您将无法使用签名不正确、过期的 Java 小程序或一个奇怪的 Java 桌面应用程序，该应用程序只能在 Windows 上运行并且需要 UAC 提升才能运行。我发现键盘输入充其量是参差不齐的，有时会出现“卡住的键”，以至于如果不尝试 10 次就无法输入密码进行登录。

我最终设法让 40 多个系统使用这种安排。我有大部分较新的系统，我可以将 IPMI 接口通过 VLAN 连接到一个单独的子网，并且我主要通过 ipmitool 使用串行控制台，它工作得非常好。对于下一代服务器，我正在研究支持 KVM 的英特尔 AMT 技术；因为这使它进入服务器空间，所以我可以看到用它替换 IPMI。

Answer 2

我以前没有使用过这些特定的卡，我使用过的卡要么具有用于 IPMI 流量的不同 MAC，要么该端口仅专用于 IPMI 流量。不过，IPMI 可能会共享包括 MAC 在内的 NIC。

IPMI 将具有与操作系统不同的 IP，因此数据包将根据该 IP 正确定向。IPMI 流量永远不会到达 CPU，全部由边带管理 IC 处理。