Scrapy仅抓取http标头数据

Question

(怎么样)我能否认为scrapy只下载网站的标题数据(用于检查目的等)

我试图禁用一些下载中间件但它似乎不起作用.

Answer 1

像@alexce说的那样,你可以发出HEAD Request而不是默认的GET:

Request(url, method="HEAD")

更新:如果您想使用HEAD请求,start_urls则需要覆盖make_requests_from_url方法:

def make_requests_from_url(self, url):
    return Request(url, method='HEAD', dont_filter=True)