Python3 urllib.request不会立即关闭连接

Question

我有以下代码来运行连续循环来从网站获取一些内容:

from http.cookiejar import CookieJar
from urllib import request

cj = CookieJar()
cp = request.HTTPCookieProcessor(cj)
hh = request.HTTPHandler()
opener = request.build_opener(cp, hh)

while True:
    # build url
    req = request.Request(url=url)
    p = opener.open(req)
    c = p.read()
    # process c
    p.close()
    # check for abort condition, or continue

内容被正确读取.但由于某种原因,TCP连接不会关闭.我正在观察来自dd-wrt路由器接口的活动连接数,并且它一直在上升.如果脚本继续运行,它将耗尽路由器的4096连接限制.发生这种情况时,脚本只需进入等待状态(路由器不允许新连接,但超时尚未命中).几分钟后,这些连接将被关闭,脚本可以再次恢复.

我能够观察到路由器悬挂连接的状态.它们共享相同的状态:TIME_WAIT.

我希望这个脚本同时使用不超过1个TCP连接.我究竟做错了什么？

我在Mac OS X 10.10上使用Python 3.4.2.

Answer 1

通过一些研究，我发现了这个问题的原因：TCP协议的设计。简而言之，当您断开连接时，连接不会立即断开，而是进入“TIME_WAIT”状态，并会在 4 分钟后超时。与我的预期不同，这种联系并没有立即消失。

根据这个问题，也不可能强制断开连接（不重新启动网络堆栈）。

事实证明，在我的特定情况下，就像这个问题所述，更好的选择是使用持久连接，又名 HTTP keep-alive。当我查询同一台服务器时，这将起作用。