增加linux中tcp/ip连接的最大数量

Question

我正在编程服务器,似乎我的连接数量有限,因为我的带宽没有饱和,即使我已经将连接数设置为"无限制".

如何增加或消除我的Ubuntu Linux盒一次可以打开的最大连接数？操作系统是否限制了这个,还是路由器或ISP？或者是别的什么？

Answer 1

最大连接数受客户端和服务器端的某些限制影响,尽管有点不同.

在客户端: 增加ephermal端口范围,并减少tcp_fin_timeout

要找出默认值:

sysctl net.ipv4.ip_local_port_range
sysctl net.ipv4.tcp_fin_timeout

ephermal端口范围定义了主机可以从特定IP地址创建的最大出站套接字数.所述fin_timeout定义的最小时间这些插座会留在TIME_WAIT状态(在使用一次后无法使用).通常的系统默认值为:

• net.ipv4.ip_local_port_range = 32768 61000
• net.ipv4.tcp_fin_timeout = 60

这基本上意味着您的系统无法始终保证(61000 - 32768) / 60 = 470每秒不超过套接字.如果你对此不满意,你可以先增加port_range.如今,将范围设置15000 61000为非常常见.你可以通过减少来进一步提高可用性fin_timeout.假设您同时执行这两项操作,您应该更容易看到每秒超过1500个出站连接.

要更改值:

sysctl net.ipv4.ip_local_port_range="15000 61000"
sysctl net.ipv4.tcp_fin_timeout=30

上述内容不应被解释为影响每秒进行出站连接的系统能力的因素.但是,这些因素会影响系统在大量"活动"中以可持续方式处理并发连接的能力.

在一个典型的Linux系统中的默认SYSCTL值tcp_tw_recycle及tcp_tw_reuse会

net.ipv4.tcp_tw_recycle=0
net.ipv4.tcp_tw_reuse=0

这些不允许从"使用过的"套接字连接(处于等待状态)并强制套接字持续整个time_wait周期.我建议设置:

sysctl net.ipv4.tcp_tw_recycle=1
sysctl net.ipv4.tcp_tw_reuse=1 

这允许在time_wait状态下快速循环插座并重新使用它们.但在进行此更改之前,请确保这与您用于需要这些套接字的应用程序的协议不冲突.请务必阅读Vincent Bernat撰写的文章"应对TCP TIME-WAIT"以了解其含义.对于net.ipv4.tcp_tw_recycle 面向公众的服务器来说,该选项很成问题,因为它不会处理来自同一NAT设备后面的两台不同计算机的连接,这是一个难以检测并等待咬你的问题.需要注意的是net.ipv4.tcp_tw_recycle已被删除从Linux呢？4.12.

在服务器端: 该net.core.somaxconn值具有重要作用.它限制了排队到侦听套接字的最大请求数.如果您确定服务器应用程序的功能,请将其从默认值128提升到128到1024之间.现在,您可以通过将应用程序的listen调用中的listen backlog变量修改为相等或更高的整数来利用此增加.

sysctl net.core.somaxconn=1024

txqueuelen以太网卡的参数也可以发挥作用.默认值为1000,如果您的系统可以处理它,则将它们提升到5000甚至更多.

ifconfig eth0 txqueuelen 5000
echo "/sbin/ifconfig eth0 txqueuelen 5000" >> /etc/rc.local

类似地增加极值net.core.netdev_max_backlog和net.ipv4.tcp_max_syn_backlog.它们的默认值分别为1000和1024.

sysctl net.core.netdev_max_backlog=2000
sysctl net.ipv4.tcp_max_syn_backlog=2048

现在记得通过在shell中增加FD ulimts来启动客户端和服务器端应用程序.

除此之外,程序员使用的一种更流行的技术是减少tcp写入调用的次数.我自己的偏好是使用一个缓冲区,其中我将我希望发送的数据推送到客户端,然后在适当的点我将缓冲的数据写入实际的套接字.这种技术允许我使用大数据包,减少碎片,降低用户区域和内核级别的CPU利用率.

Answer 2

有几个变量可以设置最大连接数.最有可能的是,你首先没有文件编号.检查ulimit -n.之后,/ proc中有设置,但默认为数万.

更重要的是,听起来你做错了什么.单个TCP连接应该能够使用双方之间的所有带宽; 如果不是:

• 检查TCP窗口设置是否足够大.除了真正快速的inet链路(数百mbps)或快速卫星链路之外,Linux默认设置适用于所有设备.你的带宽*延迟产品是多少？
• 使用ping大数据包检查数据包丢失(ping -s 1472...)
• 检查速率限制.在Linux上,配置为tc
• 使用例如确认您认为存在的带宽实际存在 iperf
• 确认您的协议是正确的.记住延迟.
• 如果这是一个千兆+局域网,你可以使用巨型数据包吗？你是？

可能我误解了.也许你正在做类似Bittorrent的事情,你需要很多连接.如果是这样,您需要确定实际使用的连接数(尝试netstat或lsof).如果该数字很大,您可以:

• 有很多带宽,例如100mbps +.在这种情况下,您实际上可能需要向上ulimit -n.不过,约有1000个连接(我的系统默认)很多.
• 网络问题导致连接速度变慢(例如丢包)
• 还有其他一些因素会让你失望,例如IO带宽,特别是如果你正在寻找.你检查过iostat -x吗？

此外,如果您使用的是消费级NAT路由器(Linksys,Netgear,DLink等),请注意您可能会通过数千个连接超出其能力.

我希望这能提供一些帮助.你真的在问网络问题.

Answer 3

为了改进derobert给出的答案,

您可以通过捕获nf_conntrack_max来确定您的操作系统连接限制.

例如:cat/proc/sys/net/netfilter/nf_conntrack_max

您可以使用以下脚本来计算到给定范围的tcp端口的tcp连接数.默认1-65535.

这将确认您是否最大化了OS连接限制.

这是脚本.

#!/bin/bash
OS=$(uname)

case "$OS" in
    'SunOS')
            AWK=/usr/bin/nawk
            ;;
    'Linux')
            AWK=/bin/awk
            ;;
    'AIX')
            AWK=/usr/bin/awk
            ;;
esac

netstat -an | $AWK -v start=1 -v end=65535 ' $NF ~ /TIME_WAIT|ESTABLISHED/ && $4 !~ /127\.0\.0\.1/ {
    if ($1 ~ /\./)
            {sip=$1}
    else {sip=$4}

    if ( sip ~ /:/ )
            {d=2}
    else {d=5}

    split( sip, a, /:|\./ )

    if ( a[d] >= start && a[d] <= end ) {
            ++connections;
            }
    }
    END {print connections}'

Answer 4

在应用程序级别,开发人员可以执行以下操作:

从服务器端:

1. 检查负载均衡器(如果有)是否正常工作.

2. 将慢速TCP超时转换为503快速立即响应,如果您正确加载平衡器,它应该选择要服务的工作资源,并且它比挂在那里意外错误按摩更好.

例如:如果您正在使用节点服务器,您可以从npm使用toobusy.实现类似于:

var toobusy = require('toobusy');
app.use(function(req, res, next) {
  if (toobusy()) res.send(503, "I'm busy right now, sorry.");
  else next();
});

为什么503？以下是一些关于过载的好见解:http: //ferd.ca/queues-don-t-fix-overload.html

我们也可以在客户端做一些工作:

1. 尝试批量分组呼叫,减少流量和总请求数b/w客户端和服务器.

2. 尝试构建缓存中间层以处理不必要的重复请求.