小编Yar*_*Dot的帖子

在这个问题中，我想找出从单个服务器提供 40Gbps 的最佳配置/硬件。

情况

我们有一个视频共享代理服务器，可以从它后面的慢速存储服务器上卸载峰值。所有流量仅为 HTTP。服务器充当反向代理（未缓存在服务器上的文件）和网络服务器（存储在本地驱动器上的文件）。

目前有大约 100TB 的文件，并且在后端存储服务器上不断增长。

缓存机制是独立实现的，这个问题与缓存本身无关，因为它工作得很好——目前提供 14Gbps，传递给后端服务器的速度仅为 2Gbps。所以缓存使用很好。

目标

从单台机器实现 40Gbps 甚至更高的吞吐量。

硬件 1

硬件: Supermicro SC825, X11SSL-F, Xeon E3-1230v5 (4C/8T@3.4GHz), 16GB DDR4 RAM, 2x Supermicro 10G STGN-i1S (LACP L3+4)

固态硬盘：1x 512GB 三星，2x 500GB 三星，2x480GB Intel 535，1x 240GB Intel S3500

系统：

• irqbalancer 停止
• 为每个接口设置_irq_affinity（通过 ixgbe 驱动程序 tarball 中的脚本）
• ixgbe-4.3.15
• I/O 调度程序截止日期
• iptables 空（卸载模块）
• 文件系统：XFS

nginx：

• 发送文件关闭
• aio线程
• 方向 1M
• tcp_nopush 开启
• tcp_nodelay 开启

如图所示，我们能够推动 12.5Gbps。不幸的是，服务器没有响应。

有两件事引起了我的注意。第一个是大量的 IRQ。在这种情况下，不幸的是我没有来自 /proc/interrupts 的图表。第二件事是高系统负载，我认为这是由于 kswapd0 仅使用 16G 内存时出现问题造成的。

硬件 2

硬件：Supermicro …

我有几个超微服务器（X8DTU-F、X7SPA-HF）。我正在使用带有共享以太网端口的 IPMI 配置（尽管 X7SPA-HF 没有专用端口）。以太网上的 IPMI 运行良好。所以服务器网络连接可以。

问题是服务器无法通过本地共享端口访问它的 ipmi ip（它正在使用专用）。所以，如果我尝试从服务器 ping（也 arping）到它的 ipmi ip，它不起作用。

服务器和 IP 在同一网络上，我可以毫无问题地访问服务器和 ipmi。所以问题似乎只出现在 SMC 主板上的 localswitch 中。

任何想法，问题出在哪里？

更新

韦斯利的回答是准确的。感谢那。要解决此问题 - 为服务器和 ipmi 使用单独的网络。将交换机上的接入端口设置为trunk，只允许服务器本身的vlan（未标记）和ipmi（标记）的vlan。在 IPMI 上，然后使用特定的 vlan id 设置数据包标记。这样所有的数据包（即使它们使用相同的接口）都将通过网关并且不会直接传送。

在提供专用服务时，从公共网络或通过内核模块保护 IPMI 的最佳做法是什么。

首先，我想确保如果有人扫描我的网络并找到了一些 IPMI 卡，他将无法控制它。有一个错误，允许通过匿名帐户通过 supermicro IPMI 发送电子邮件。我知道只在没有公共网络的本地网络中使用 IPMI 是一个很好的做法，但是客户不会很高兴使用 VPN 来访问 IPMI。

其次，您可以使用 ipmitool 命令来管理 IPMI 配置，而无需用户身份验证。我想阻止客户更改 IPMI 设置 - 例如 IP 地址、删除我的监控用户、...

你最好的做法是什么？如果你遇到了这个问题，你会如何解决？

我们目前正在为仅 IPv6 网络部署做准备，并且正在努力寻找唯一的服务器标识。

在我们之前的设置中，我们使用 mac 地址作为服务器的主要标识。然后我们就能够始终为服务器分配相同的地址。

例如，我们需要从 wheezy 升级到 jessie，而不是 apt-get dist-upgrade，我们重新安装了服务器。当我们使用 puppet 进行配置时，这一切都花了 15 分钟，服务器已启动、全新并使用相同的 IP 和 DNS 名称再次完美运行。

不幸的是，我们目前无法通过 IPv6 实现这一点，因为每个操作系统（Linux、PXEBoot 内核等）的服务器都有不同的 DUID，这意味着每个操作系统都有不同的 IPv6 地址。

在我们的设置中，我们使用 mikrotik 作为 DHCP 服务器。

你会如何处理这样的情况？

更新 #1：目前似乎不可能：

• https://www.insinuator.net/2015/02/is-rfc-6939-support-finally-here-checking-the-implementation-of-the-client-link-layer-address-option-in-dhcpv6/
• http://blog.bronislavrobenek.com/post/64383333742/ipv6-security-in-enterprise-network

我能够为 isc-dhcp-server找到一个补丁（http://alter.org.ua/soft/fbsd/isc_dhcpd/）来解决这个问题，但这不是全局解决方案，我不能在 cisco 上应用它或 mikrotik 设备。

更新 #2：我们决定离开 mikrotik 平台，因为我们已经超出了这个平台的能力。我们目前正在准备基于 linux 的新“基础设施”服务器，它将运行https://dhcpy6d.ifw-dresden.de/（除了其他服务，例如用于 ipmi 的 openvpn，...）。