如何修复HTTP错误400:错误请求？

Question

我正在尝试网页抓,这是我的代码.

出于某种原因,我收到HTTP错误400:错误的请求,我从来没有这样做过.

有任何想法吗？

这是我的代码:

import urllib.request
import re

url = ('https://www.myvue.com/whats-on')

req = urllib.request.Request(url, headers={'User Agent': 'Mozilla/5.0'})

def main():

    html_page = urllib.request.urlopen(req).read()

    content=html_page.decode(errors='ignore', encoding='utf-8')

    headings = re.findall('<th scope="col" abbr="(.*?)">', content)

    print(headings)

main()

Answer 1

修复标题:

req = urllib.request.Request(url, headers={'User-Agent': 'Mozilla/5.0'})

这User-Agent,不是User Agent.

另外,我建议切换到requests模块.

import requests
html_page = requests.get(url, {'User-Agent': 'Mozilla/5.0'}).text

这相当于三行urllib且更具可读性.此外,它会自动为您解码内容.