Ubuntu 12.04 和 Cisco 交换机上的网络绑定模式 802.3ad

Question

我正在尝试在 2 台服务器上将 3 个网卡组合在一起。我正在尝试实现 3Gbps 的最大吞吐量以在服务器之间复制数据。设置很简单，我在同一台 Cisco 交换机上连接了 2 个带有 3 个千兆网卡的服务器。正好在服务器 1 的端口 1-2-3 和服务器 2 的端口 4-5-6 上。我的接口配置如下：

auto lo
iface lo inet loopback

# The primary network interface
auto eth0
iface eth0 inet manual
        bond-master bond0

auto eth1
iface eth1 inet manual
        bond-master bond0

auto eth2
iface eth2 inet manual
        bond-master bond0

auto bond0
iface bond0 inet static
        address 192.168.1.11
        netmask 255.255.255.0
        gateway 192.168.1.1

        bond-miimon 100
        bond-mode 802.3ad
        #bond-downdelay 200
        #bond-updelay 200
        bond-lacp-rate 1
        # tried bond with slaves and no slaves interfaces
        bond-slaves eth0 eth1 eth2 
        # bond-slaves none

我在这些卡上尝试了多种配置，但当时我总是只使用 1 个网卡。

我用 iperf 和 netcat 测试了性能

# server-1
iperf -s

# server-2 
iperf -c 192.168.1.10

# Wait for trafic
nc.traditional -l -p 5000 | pv > /dev/null 

# Push trafic
dd if=/dev/zero | pv | nc.traditional 192.168.1.11 5000

我们还在 Cisco 交换机上尝试了许多配置，没有端口通道和端口通道，并且当时始终只使用 1 个网卡。如果我们单独测试每张卡，它们的工作速度为 1Gbps。

我也可以说，在 /proc/net/bonding/bond0 中，模式显示 802.3ad，LACP 速率显示 FAST。我没有链接计数失败并且显示 3 个接口。我还使用 ethtool 验证了每个 eth 接口，它们对我来说看起来不错。

我正在按照本指南进行设置https://help.ubuntu.com/community/UbuntuBonding并且我在内核中启用了绑定模块modprobe bonding，当我lsmod用来验证绑定模块是否已启动时，是的，它在列表。

我们缺少什么才能让它发挥作用？

Answer 1

您永远不会在两台服务器之间获得超过 1 个 NIC 的性能。交换机不会将来自单个源的帧传播到链路聚合组 (LAG) 中的多个链路上。他们实际上做的是散列源 MAC 或 IP（或两者），并使用该散列将客户端分配给一个 NIC。

因此，您的服务器可以根据需要跨多个 NIC 进行传输，但这些帧将全部通过一条链路发送到目标服务器。