连接数据中心主机的高吞吐量网状 VPN

Question

我们在公共数据中心租用了许多主机。数据中心不提供私有 VLAN；所有主机都会收到一个（或多个）公共 IPv4/IPv6 地址。主机配备非常现代的 CPU（Haswell 四核，3.4GHz）并具有 Gbit 上行链路。数据中心的不同区域（房间？楼层？建筑物？）与 - 据我所知 - Gbit 或 500Mbit 链路互连。我们的主机正在运行 debian wheezy。目前，我们运行的主机略高于 10 台，预计在不久的将来还会增长。

我正在寻找一种方法来让所有主机安全且保密地相互通信。第 3 层很好，第 2 层还可以（但不是必需的）。由于我无法访问 VLAN，因此它必须是某种类型的 VPN。

对我来说重要的是：

1. 高吞吐量，理想情况下接近线速
2. 分散的网状架构 - 这是为了确保吞吐量不会被中心元素（例如 VPN 集中器）减慢
3. CPU 占用空间并不大（考虑到 AESNI 和 GCM 密码套件，我希望这不是一个荒谬的要求）
4. 操作简便；设置不太复杂；网络可以增长而不会失去已建立的连接

我们目前正在使用tinc。它滴答作响 [2] 和 [4]，但我只达到了 960Mbit/s 线速的大约 600Mbit/s（单工），并且我完全失去了一个核心。此外，tinc 1.1 - 目前正在开发中 - 还不是多线程的，所以我坚持单核性能。

传统的 IPSec 是不可能的，因为它需要一个中心元素，或要配置的 sh*tload 隧道（以实现 [2]）。带有机会性加密的 IPsec 将是一个解决方案，但我不确定它是否曾经将其转化为稳定的生产代码。

我今天偶然发现了tcpcrypt。除了缺少身份验证，它看起来像我想要的。用户空间的实现听起来很慢，但所有其他 VPN 也是如此。他们谈到内核实现。我还没有尝试过，我对它的行为很感兴趣 [1] 和 [3]。

还有哪些其他选择？不在AWS 上的人们在做什么？

附加信息

我对 GCM 感兴趣，希望它能减少 CPU 占用空间。请参阅英特尔关于该主题的论文。在与一位 tinc 开发人员交谈时，他解释说，即使使用 AESNI 进行加密，HMAC（例如 SHA-1）在 Gbit 速度下仍然非常昂贵。

最终更新

传输模式下的 IPsec 工作完美，完全符合我的要求。经过多次评估，我选择了 Openswan 而不是 ipsec-tools，仅仅是因为它支持 AES-GCM。在 Haswell CPU 上，我测量了大约 910-920Mbit/sec 的单工吞吐量，大约 8-9% 的 CPU 负载为 1 kworkerd.

Answer 1

您不想要的是 VPN。什么，你做的匮乏的确是IPsec的，但不是在隧道模式。相反，您希望 IPsec 处于传输模式。

在此配置中，每个主机直接与其对等方通信，并且仅对数据包有效负载进行加密，而保留 IP 标头。这样，您无需执行任何路由体操即可使事情正常进行。

是的，您需要为每个主机设置一个 IPsec 连接节（除非您的主机分组在一个子网中，在这种情况下您可以通过 CIDR 块执行此操作），但是这些可以由您的配置管理系统以编程方式轻松生成。

您没有询问配置细节，但如果您需要一些指示（关于传输模式的可靠信息并不多），您可以参考我最近写的这篇博文。