使用 Huggingface 预训练模型应对 SSL 错误

Question

我在从 HuggingFace 加载预训练模型时遇到以下问题。

HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /roberta-base/resolve/main/config.json (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1125)')))

导致问题的行是

tokenizer = AutoTokenizer.from_pretrained('roberta-base')

我以前从未遇到过这个问题，而且之前工作得非常好。我一无所知。

Answer 1

将请求降级到 2.27.1 并将以下代码片段添加到程序文件的开头应该可以解决该问题。

'''This following code will set the CURL_CA_BUNDLE environment variable to an empty string in the Python os module'''

import os
os.environ['CURL_CA_BUNDLE'] = ''

Answer 2

对于企业用户，如果您的企业有企业根证书，您可能需要设置此环境变量以了解 ca-certificates.crt 包的位置。通过请求模块进行测试无法重现错误，因为这些请求正确发出，但为了通过 Huggingface 进行拉取，我们必须首先设置此变量。

希望这可以节省某人几个小时:)

export REQUESTS_CA_BUNDLE=/etc/ssl/certs/ca-certificates.crt

Answer 3

您可以在 Windows 计算机上导入自签名证书。

要将证书添加到 Windows 上的受信任的根证书颁发机构存储中，您可以按照以下步骤操作：

1. 从网站下载根证书，使用chrome浏览器下载证书的步骤如下：

   • 打开网站（https://huggingface.co/）

   • 在 URL 选项卡中您可以看到小锁图标，单击它

   • 点击“连接是安全的”

   • 点击“证书有效”

   • 单击“详细信息”选项卡

   • 从证书层次结构中选择根证书，在我们的例子中是“caadmin.netskope.com”

   • 单击“导出...”并将其保存在您的系统中

     

2. 使用以下步骤将下载的证书添加到“受信任的根证书颁发机构”：

   • 以管理员身份打开命令提示符。

   • 键入以下命令将证书添加到受信任的根证书颁发机构存储中

     certutil -addstore "Root" <path/to/certificate>
     

     您将收到一条消息，指示证书已添加到存储中。

要验证证书是否已添加到根目录，请按照下列步骤操作：

1. 按 Windows 按钮并输入“mmc”并按 Enter 键，这将打开 Microsoft 管理控制台。
2. 在“文件”菜单上，单击“添加/删除管理单元”。
3. 在“可用的管理单元”框中，单击“证书”，然后单击“添加”。
4. 单击“计算机帐户”，然后单击“下一步”。
5. 单击“本地计算机”，然后单击“完成”。
6. 单击“确定”关闭“添加或删除管理单元”对话框。
7. 在控制台树中，单击“证书（本地计算机）”，然后单击“受信任的根证书颁发机构”文件夹。
8. 验证证书是否位于“受信任的根证书颁发机构”文件夹中。

注意：建议咨询您的 IT 管理员或安全团队，以确保您的系统配置正确。

如果还有什么需要我帮助的，请告诉我。