Python urlopen连接中止 - urlopen错误[Errno 10053]

Question

我有一些代码使用mechanize和beautifulsoup来抓取一些数据.代码在测试机器上工作正常,但生产机器阻止了连接.我得到的错误是:

urlopen error [Errno 10053] An established connection was aborted by the software in your host machine

我通过类似的帖子阅读,我找不到这个确切的错误.我试图抓取的网站是HTTPS,但我也遇到了与HTTP网站相同的错误.我使用python 2.6并机械化0.2.4.

这是由于代理还是,正如错误所说,我的本地机器上的东西？我已经写了机械化来使用系统的代理:

br = mechanize.Browser()
br.addheaders = [('User-agent', 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1')]
br.set_proxies({}) #will use system default proxy
page = br.open(url)
html = page.read()
soup = BeautifulSoup.BeautifulSoup(html)

同样,这一切都适用于我的测试机器,但是生产机器给出了错误10053.

Answer 1

这里的问题是基于主机的 IDS 阻止了连接。问题解决了。

我将 python 脚本添加到 HIDS 例外列表中。例外列表是我允许连接到互联网的文件列表。将其添加到列表后，我就能够通过该脚本获得网络连接，并且没有进一步的问题。测试机器没有安装 HIDS 客户端，所以它允许我说话。仅供参考，两者都有防火墙，但只有一台（生产机器）有 HIDS。

HIDS 代表基于主机的入侵检测系统。如果网络安全团队已将 HIDS 设置为对您不可见，您可能不知道在哪里可以找到它。此外，即使你找到了它，你也无法禁用它。您可以询问您的安全团队是否可以为您的脚本添加例外。绕过 HIDS 的另一种偷偷摸摸的方法是将脚本构建为 exe（使用 Py2EXE）并将您创建的可执行文件重命名为 HIDS 例外列表中已有的名称。最好将其重命名为您的浏览器，因此如果允许 Firefox 访问互联网，请将您的 exe 重命名为 firefox.exe。