小编rus*_*ias的帖子

目标： 我试图从此页面抓取 HTML：https://www.doherty.jobs/jobs/search?q =&l=&lat=&long=& d= 。

（注意 - 我最终会想要分页并从此页面抓取所有职位列表）

我的问题： 当我尝试使用 Python 和 Requests 抓取页面时，出现 503 错误。我在 Google Colab 工作。

初始代码：

import requests

url = 'https://www.doherty.jobs/jobs/search?q=&l=&lat=&long=&d='

response = requests.get(url)

print(response)

尝试过的解决方案：

1. 使用“用户代理”：“Mozilla/5.0（Windows NT 10.0；Win64；x64）AppleWebKit/537.36（KHTML，如 Gecko）Chrome/92.0.4515.131 Safari/537.36”
2. 我在另一个线程中找到了实现此代码：

import requests

def getUrl(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',
    }
    res = requests.get(url, headers=headers)
    res.raise_for_status()

getUrl('https://www.doherty.jobs/jobs/search?q=&l=&lat=&long=&d=')

我可以通过浏览器访问该网站。

还有什么我可以尝试的吗？

谢谢