如何使用Scrapy在循环中刮取相同的URL

Question

所需内容与静态URL位于同一页面上.

我创建了一个抓取此页面并以CSV格式存储项目的蜘蛛.但它只执行一次然后完成爬行过程.但我需要不断重复操作.我怎样才能做到这一点？

Scrapy 0.12

Python 2.5

Answer 1

那么给你一个具体的例子很难,因为我不知道你正在使用什么蜘蛛及其内部运作,但这样的事情可行.

from scrapy.http import Request

class YourSpider(BaseSpider):
    # ...spider init details...
    def parse(self, response):
        # ...process item...
        yield item           
        yield Request(response.url, callback=self.parse)