Тол*_*ван 43 python python-requests
我需要解析一个网站,但我得到一个错误403 Forbidden.这是一个代码:
url = 'http://worldagnetwork.com/'
result = requests.get(url)
print(result.content.decode())
它的输出:
<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx</center>
</body>
</html>
请说出问题所在.
Alb*_*oso 120
页面似乎拒绝GET了不识别的请求User-Agent.我使用浏览器(Chrome)访问了该页面并复制User-Agent了GET请求的标题(查看开发人员工具的"网络"选项卡):
import requests
url = 'http://worldagnetwork.com/'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
result = requests.get(url, headers=headers)
print(result.content.decode())
# <!doctype html>
# <!--[if lt IE 7 ]><html class="no-js ie ie6" lang="en"> <![endif]-->
# <!--[if IE 7 ]><html class="no-js ie ie7" lang="en"> <![endif]-->
# <!--[if IE 8 ]><html class="no-js ie ie8" lang="en"> <![endif]-->
# <!--[if (gte IE 9)|!(IE)]><!--><html class="no-js" lang="en"> <!--<![endif]-->
# ...
Han*_*mov 10
只需添加阿尔贝托的答案：
如果403 Forbidden添加a后仍然得到 a user-agent，则可能需要添加更多标题，例如referer：
headers = {
'User-Agent': '...',
'referer': 'https://...'
}
标题可以Network > Headers > Request Headers在开发者工具的 中找到。（按下F12以切换它。）