Scrapy Shell - 如何更改USER_AGENT

Question

我有一个功能齐全的scrapy脚本来从网站中提取数据.在设置过程中,目标站点根据我的USER_AGENT信息禁止了我.我随后添加了一个RotateUserAgentMiddleware来随机旋转USER_AGENT.这非常有效.

但是,现在当我尝试使用scrapy shell来测试xpath和css请求时,我收到403错误.我确定这是因为scrapy shell的USER_AGENT默认为某个值,目标网站已列入黑名单.

问题:是否可以使用与默认值不同的USER_AGENT来获取scrapy shell中的URL？

fetch(' http://www.test ')[添加一些东西？更改USER_AGENT]

谢谢

Answer 1

scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'

Answer 2

里面的scrapy外壳,可以设置User-Agent在request header.

url = 'http://www.example.com'
request = scrapy.Request(url, headers={'User-Agent': 'Mybot'})
fetch(request)