如果我没有在 requests.get() 中指定用户代理,会发生什么?

Tr3*_*cky 5 python web-scraping python-requests

有人可以解释一下如果我没有在 中指定我的用户代理会发生什么吗requests.get(url)

如果我指定的话,它会像下面这样:

user_agent = {'User-agent': 'Mozilla/5.0'}
requests.get(url, headers=user_agent)
Run Code Online (Sandbox Code Playgroud)

如果我不这样做,那就只是

requests.get(url)
Run Code Online (Sandbox Code Playgroud)

这有什么区别呢?如果我不指定,用户代理的默认值是什么?

提前致谢!

小智 10

您可以使用此代码获取默认标头

requests.utils.default_headers() 
Run Code Online (Sandbox Code Playgroud)


Dav*_*ate 6

将使用默认的 Python 请求用户代理。就我而言(Python 3.9.1),默认用户代理是python-requests/2.25.0.

有些网站会阻止非网络浏览器用户代理的访问以防止抓取。