在Scrapy项目中使用多个蜘蛛

Question

我想知道是否可以在同一个项目中同时使用多个蜘蛛.其实我需要2只蜘蛛.第一个收集第二个蜘蛛应该刮的链接.他们都在同一个网站上工作,所以域名是相似的.这可能吗？如果是,你能举个例子吗？谢谢

Answer 1

也许这就是你要找的东西:

def parse(self, response):
    # parse the links (aka your first spider)
    for link in hxs('//XPATH'):
        yield Request(link.extract(), callback=self.parse_link)

def parse_link(self, response):
    # continue parsing (aka your second spider)

希望这对你有所帮助:)