所以基本上我试图从网站上抓取 javascript 生成的数据。为此，我使用了 Python 库requests_html。
这是我的代码：
from requests_html import HTMLSession
session = HTMLSession()
url = 'https://myurl'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
payload = {'mylog': 'root', 'mypass': 'root'}
r = session.post(url, headers=headers, verify=False, data=payload)
r.html.render()
load = r.html.find('#load_span', first=True)
print (load.text)
如果我不使用 render() 函数，我可以连接到网站并且我抓取的数据为空（这是正常的）但是当我使用它时，我有这个错误：
pyppeteer.errors.PageError: net::ERR_CERT_COMMON_NAME_INVALID at https://myurl
或者
net::ERR_CERT_WEAK_SIGNATURE_ALGORITHM
我假设 session.post 的参数“verify=False”被渲染忽略。我该怎么做 ？
编辑：如果要重现错误：
from requests_html import HTMLSession
import requests
session = HTMLSession()
url = 'https://wrong.host.badssl.com'
headers …