Scrapy make_requests_from_url(url)

Question

在Scrapy教程中,BaseSpider有这种方法:

make_requests_from_url(URL)

一种接收URL并返回Request对象(或Request对象列表)以进行刮擦的方法.

此方法用于在start_requests()方法中构造初始请求,通常用于将URL转换为请求.

除非被覆盖,否则此方法将使用parse()方法作为其回调函数返回Requests,并启用dont_filter参数(有关详细信息,请参阅Request类).

你明白这个方法有用吗？我可以使用makerequestsfrom_url和BaseSpider而不是不适用于我的SgmlLinkExtractor和CrawlSpider吗？

我试图爬行超过给定的初始URL并且Scrapy没有这样做.

谢谢

Answer 1

没错,CrawlSpider在很多情况下都很有用,但它只涵盖了所有可能的蜘蛛的子集.如果您需要更复杂的东西,通常会将BaseSpider子类化并实现start_requests()方法.