当我尝试使用访问特定站点的请求读取响应时,我遇到了永久性的挂起,很可能是由于某种阻塞。我不确定的是,成功接收响应的 CURL 与从未接收到任何响应的 Python get 请求有何不同。
注意:curl 命令预计会返回错误,因为我没有发送 cookies 等所需信息curl:
curl 'https://www.yellowpages.com.au/search/listings?clue=Programmer&locationClue=All+States&pageNumber=3&referredBy=UNKNOWN&&eventType=pagination' -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; rv:68.0) Gecko/20100101 Firefox/68.0'
Run Code Online (Sandbox Code Playgroud)
Python:
import requests
r = requests.get('https://www.yellowpages.com.au/search/listings?clue=Programmer&locationClue=All+States&pageNumber=3&referredBy=UNKNOWN&&eventType=pagination', headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; rv:68.0) Gecko/20100101 Firefox/68.0'})
Run Code Online (Sandbox Code Playgroud)