urllib和"SSL:CERTIFICATE_VERIFY_FAILED"错误

Question

我收到以下错误:

Exception in thread Thread-3:
Traceback (most recent call last):
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 810, in        __bootstrap_inner
self.run()
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 763, in  run
self.__target(*self.__args, **self.__kwargs)
File "/Users/Matthew/Desktop/Skypebot 2.0/bot.py", line 271, in process
info = urllib2.urlopen(req).read()
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 154, in urlopen
return opener.open(url, data, timeout)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 431, in open
response = self._open(req, data)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 449, in _open
'_open', req)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 409, in _call_chain
result = func(*args)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1240, in https_open
context=self._context)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1197, in do_open
raise URLError(err)
URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)>

这是导致此错误的代码:

if input.startswith("!web"):
    input = input.replace("!web ", "")      
    url = "https://domainsearch.p.mashape.com/index.php?name=" + input
    req = urllib2.Request(url, headers={ 'X-Mashape-Key': 'XXXXXXXXXXXXXXXXXXXX' })
    info = urllib2.urlopen(req).read()
    Message.Chat.SendMessage ("" + info)

我正在使用的API要求我使用HTTPS.如何绕过验证？

Answer 1

这不是你特定问题的解决方案,但是我把它放在这里是因为这个帖子是"SSL:CERTIFICATE_VERIFY_FAILED"的Google最高结果,它引导我进行疯狂的追逐.

如果您在OSX上安装了Python 3.6并且在尝试连接到https://站点时收到"SSL:CERTIFICATE_VERIFY_FAILED"错误,则可能是因为OSX上的Python 3.6根本没有证书,并且无法验证任何SSL连接.这是OSX上3.6的更改,需要安装后步骤,安装certifi证书包.这在ReadMe中有记录,您可以在其中找到/Applications/Python\ 3.6/ReadMe.rtf

ReadMe将让您运行此安装后脚本,该脚本只需安装certifi:/Applications/Python\ 3.6/Install\ Certificates.command

发行说明有更多信息:https://www.python.org/downloads/release/python-360/

Answer 2

如果您只想绕过验证,则可以创建新的SSLContext.默认情况下,新创建的上下文使用CERT_NONE.

如第17.3.7.2.1节所述,请注意这一点

直接调用SSLContext构造函数时,CERT_NONE是默认值.由于它不会对其他对等方进行身份验证,因此它可能不安全,尤其是在客户端模式下,大多数情况下您希望确保与之交谈的服务器的真实性.因此,在客户端模式下,强烈建议使用CERT_REQUIRED.

但是,如果您只是因为其他原因希望它能够正常工作,您可以执行以下操作,您还必须import ssl:

input = input.replace("!web ", "")      
url = "https://domainsearch.p.mashape.com/index.php?name=" + input
req = urllib2.Request(url, headers={ 'X-Mashape-Key': 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' })
gcontext = ssl.SSLContext()  # Only for gangstars
info = urllib2.urlopen(req, context=gcontext).read()
Message.Chat.SendMessage ("" + info)

这应该解决你的问题,但你并没有真正解决任何问题,但你不会看到,[SSL: CERTIFICATE_VERIFY_FAILED]因为你现在没有验证证书!

要添加上述内容,如果您想了解更多有关您遇到这些问题的原因,请参阅PEP 476.

此PEP建议默认情况下验证X509证书签名以及Python的HTTP客户端的主机名验证,但需要在每次呼叫的基础上选择退出.此更改将应用​​于Python 2.7,Python 3.4和Python 3.5.

建议选择退出与上述建议没有什么不同:

import ssl

# This restores the same behavior as before.
context = ssl._create_unverified_context()
urllib.urlopen("https://no-valid-cert", context=context)

它还有一个非常气馁的选项,通过monkeypatching,你不常在python中看到:

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

其中使用函数覆盖创建上下文的默认函数以创建未验证的上下文.

请注意PEP中所述:

本指南主要针对希望采用较新版本的Python的系统管理员,这些Python在尚未支持HTTPS连接上的证书验证的旧环境中实施此PEP.例如,管理员可以通过在Python的标准操作环境中将上面的monkeypatch添加到sitecustomize.py来选择退出.应用程序和库不应该在此过程中进行此更改(除非响应系统管理员控制的配置设置).

如果你想阅读一篇关于为什么不能在软件中验证证书不好的论文,你可以在这里找到它!

Answer 3

扩展Craig Glennie的答案(抱歉没有足够的声誉评论):

在MacO Sierra的Python 3.6.1中

在bash终端输入这个解决了这个问题:

pip install certifi
/Applications/Python\ 3.6/Install\ Certificates.command

Answer 4

在Windows上,Python不查看系统证书,它使用自己的位于?\lib\site-packages\certifi\cacert.pem.

解决问题的方法:

1. 将域验证证书下载为*.crt或*pem文件
2. 在编辑器中打开文件并将其内容复制到剪贴板
3. 找到你的cacert.pem位置:from requests.utils import DEFAULT_CA_BUNDLE_PATH; print(DEFAULT_CA_BUNDLE_PATH)
4. 编辑cacert.pem文件并将域验证证书粘贴到文件末尾.
5. 保存文件并享受请求!

Answer 5

我的Mac OS X解决方案:

1)使用从官方Python语言网站下载的本机应用程序Python安装程序升级到Python 3.6.5 https://www.python.org/downloads/

我发现这个安装程序比自制软件更好地更新新Python的链接和符号链接.

2)使用"./Install Certificates.command"安装新证书,该证书位于刷新的Python 3.6目录中

> cd "/Applications/Python 3.6/"
> sudo "./Install Certificates.command"

Answer 6

您可以尝试将此添加到您的环境变量:

PYTHONHTTPSVERIFY=0 

请注意,这将禁用所有 HTTP验证,因此这是一个大锤方法,但如果不需要验证,它可能是一个有效的解决方案.

Answer 7

我认为你有几种方法可以解决这个问题。我提到了下面5种方法：

1. 您可以为每个请求定义上下文，并在每个请求上传递上下文以供使用，如下所示：

import certifi
import ssl
import urllib
context = ssl.create_default_context(cafile=certifi.where())
result = urllib.request.urlopen('https://www.example.com', context=context)

2. 或者在 中设置证书文件environment。

import os
import certifi
import urllib
os.environ["REQUESTS_CA_BUNDLE"] = certifi.where()
os.environ["SSL_CERT_FILE"] = certifi.where()
result = urllib.request.urlopen('https://www.example.com')

3. 或替换create default https context方法：

import certifi
import ssl
ssl._create_default_https_context = lambda: ssl.create_default_context(cafile=certifi.where())
result = urllib.request.urlopen('https://www.example.com')

4. 或者如果您使用Linux计算机，则生成新证书并导出指向证书目录的环境变量可以修复该问题。

$ sudo update-ca-certificates --fresh
$ export SSL_CERT_DIR=/etc/ssl/certs

5. 或者如果您使用Mac计算机，则生成新证书

$ cd "/Applications/$(python3 --version | awk '{print $2}'| awk  -F. '{print "Python " $1"."$2}')"
$ sudo "./Install Certificates.command"

Answer 8

虽然我urllib.request.urlopen在Python 3.4,3.5和3.6中使用过,但我遇到了类似的问题.(urllib2根据Python 2 urllib2文档页面的注释,这是Python 3等效的一部分.)

我的解决方案是pip install certifi安装certifi,其中包括:

...精心策划的根证书集合,用于验证SSL证书的可信度,同时验证TLS主机的身份.

然后,在我之前刚刚拥有的代码中:

import urllib.request as urlrq
resp = urlrq.urlopen('https://foo.com/bar/baz.html')

我把它修改为:

import urllib.request as urlrq
import certifi
resp = urlrq.urlopen('https://foo.com/bar/baz.html', cafile=certifi.where())

如果我正确阅读urllib2.urlopen文档,它也有一个cafile参数.因此,urllib2.urlopen([...], certifi.where())也可能适用于Python 2.7.

Answer 9

我在我的一台 Linux 机器上遇到了类似的问题。生成新证书并导出指向证书目录的环境变量为我修复了它：

$ sudo update-ca-certificates --fresh
$ export SSL_CERT_DIR=/etc/ssl/certs

Answer 10

import requests
requests.packages.urllib3.disable_warnings()

import ssl

try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    # Legacy Python that doesn't verify HTTPS certificates by default
    pass
else:
    # Handle target environment that doesn't support HTTPS verification
    ssl._create_default_https_context = _create_unverified_https_context

取自这里https://gist.github.com/michaelrice/a6794a017e349fc65d01

Answer 11

就像我在评论中写的那样,这个问题可能与这个SO答案有关.

简而言之:有多种方法可以验证证书.OpenSSL使用的验证与您在系统上拥有的受信任的根证书不兼容.Python使用OpenSSL.

您可以尝试获取Verisign Class 3 Public Primary Certification Authority缺少的证书,然后cafile根据Python文档使用该选项:

urllib2.urlopen(req, cafile="verisign.pem")

Answer 12

$ cd $HOME
$ wget --quiet https://curl.haxx.se/ca/cacert.pem
$ export SSL_CERT_FILE=$HOME/cacert.pem

来源： https: //access.redhat.com/articles/2039753

Answer 13

看一眼

/Applications/Python 3.6/Install Certificates.command

您还可以转到ApplicationsFinder 中的文件夹并单击Certificates.command

Answer 14

我在这里找到了这个

我找到了这个解决方案，在源文件的开头插入以下代码：

import ssl

try:
   _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    # Legacy Python that doesn't verify HTTPS certificates by default
    pass
else:
    # Handle target environment that doesn't support HTTPS verification
    ssl._create_default_https_context = _create_unverified_https_context

此代码会撤消验证，从而不会验证 ssl 认证。

Answer 15

Anaconda 的解决方案

我的设置是 MacOS 上的带有代理的 Anaconda Python 3.7。路径不同。

• 这是获得正确证书路径的方法：

import ssl
ssl.get_default_verify_paths()

在我的系统上产生的

Out[35]: DefaultVerifyPaths(cafile='/miniconda3/ssl/cert.pem', capath=None,
 openssl_cafile_env='SSL_CERT_FILE', openssl_cafile='/miniconda3/ssl/cert.pem',
 openssl_capath_env='SSL_CERT_DIR', openssl_capath='/miniconda3/ssl/certs')

一旦知道证书的去向，就可以将代理使用的证书连接到该文件的末尾。

我已经设置了 conda 来使用我的代理，运行：

conda config --set ssl_verify <pathToYourFile>.crt

如果您不记得您的证书在哪里，您可以在~/.condarc以下位置找到它：

ssl_verify: <pathToYourFile>.crt

现在将该文件连接到末尾，/miniconda3/ssl/cert.pem 请求应该可以工作，特别是sklearn.datasets类似的工具应该可以工作。

进一步的警告

其他解决方案不起作用，因为 Anaconda 设置略有不同：

• 路径Applications/Python\ 3.X根本不存在。

• 以下命令提供的路径是错误的路径

import ssl
ssl.get_default_verify_paths()

Answer 16

由于 Linux 上的包中缺少中间证书，也可能会出现 SSL: CERTIFICATE_VERIFY_FAILED 错误ca-certificates。例如，在我的例子中，中间证书“ DigiCert SHA2 Secure Server CA ”在包中丢失ca-certificates，即使 Firefox 浏览器包含它。wget您可以通过直接在导致此错误的 URL 上运行命令来找出缺少哪个证书。然后，您可以从证书颁发机构的官方网站（例如我的例子中为https://www.digicert.com/digicert-root-certificates.htm ）搜索该证书的CRT文件的相应链接。现在，要包含您的案例中缺少的证书，您可以使用 CRT 文件下载链接运行以下命令：

wget https://cacerts.digicert.com/DigiCertSHA2SecureServerCA.crt

mv DigiCertSHA2SecureServerCA.crt DigiCertSHA2SecureServerCA.der

openssl x509 -inform DER -outform PEM -in DigiCertSHA2SecureServerCA.der -out DigicertSHA2SecureServerCA.pem.crt

sudo mkdir /usr/share/ca-certificates/extra

sudo cp DigicertSHA2SecureServerCA.pem.crt /usr/share/ca-certificates/extra/

sudo dpkg-reconfigure ca-certificates

之后，您可以再次测试wget您的 URL 以及使用 pythonurllib包。有关更多详细信息，请参阅：https://bugs.launchpad.net/ubuntu/+source/ca-certificates/+bug/1795242

Answer 17

Python 2.7.12（默认，2016 年 7 月 29 日，15:26:22）修复了上述问题。此信息可能对其他人有所帮助。

Answer 18

我需要添加另一个答案，因为就像Craig Glennie一样，由于网络上有很多帖子提到了这个问题，所以我大肆追赶。

我正在使用MacPorts，最初我认为是Python问题实际上是MacPorts问题：它没有在安装openssl时安装根证书。如本博客文章port install curl-ca-bundle所述，解决方案是。

Answer 19

我很惊讶所有这些指令都没有解决我的问题。尽管如此，诊断是正确的（顺便说一句，我使用的是 Mac 和 Python3.6.1）。所以，总结一下正确的部分：

• 在 Mac 上，Apple 正在放弃 OpenSSL
• Python 现在使用它自己的一组 CA 根证书
• 二进制 Python 安装提供了一个脚本来安装 Python 需要的 CA 根证书（“/Applications/Python 3.6/Install Certificates.command”）
• 阅读“/Applications/Python 3.6/ReadMe.rtf”了解详情

对我来说，脚本不起作用，所有那些 certifi 和 openssl 安装也未能修复。也许是因为我有多个 python 2 和 3 安装，以及许多 virtualenv。最后，我需要手动修复它。

pip install certifi   # for your virtualenv
mkdir -p /Library/Frameworks/Python.framework/Versions/3.6/etc/openssl
cp -a <your virtualenv>/site-package/certifi/cacert.pem \
  /Library/Frameworks/Python.framework/Versions/3.6/etc/openssl/cert.pem

如果那仍然失败了。然后也重新/安装 OpenSSL。

port install openssl