Scrapy - 解析给定域的所有子页面

Question

我想用scrapy解析kickstarter.com项目,但无法弄清楚如何制作我没有在start_urls下明确指定的蜘蛛搜索项目.我已经找到scrapy代码的第一部分(我可以从一个网站提取必要的信息),我无法让它为域kickstarter.com/projects下的所有项目执行此操作.

根据我的阅读,我相信解析是可能的(1)使用起始页面上的链接(kickstarter.com/projects),(2)使用来自一个项目页面的链接跳转到另一个项目,以及(3)使用站点地图(我不认为kickstarter.com有)定位要解析的网页.

我花了好几个小时尝试这些方法但是我无处可去.

我已经使用了scrapy教程代码并在其基础上构建.

到目前为止,这是有效的部分:

from scrapy import log
from scrapy.contrib.spiders import CrawlSpider   
from scrapy.selector import HtmlXPathSelector  

from tutorial.items import kickstarteritem

class kickstarter(CrawlSpider):
    name = 'kickstarter'
    allowed_domains = ['kickstarter.com']    
    start_urls = ["http://www.kickstarter.com/projects/brucegoldwell/dragon-keepers-book-iv-fantasy-mystery-magic"]

    def parse(self, response):
        x = HtmlXPathSelector(response)

        item = kickstarteritem()
        item['url'] = response.url
        item['name'] = x.select("//div[@class='NS-project_-running_board']/h2[@id='title']/a/text()").extract()
        item['launched'] = x.select("//li[@class='posted']/text()").extract()
        item['ended'] = x.select("//li[@class='ends']/text()").extract()
        item['backers'] = x.select("//span[@class='count']/data[@data-format='number']/@data-value").extract()
        item['pledge'] = x.select("//div[@class='num']/@data-pledged").extract()
        item['goal'] = x.select("//div[@class='num']/@data-goal").extract()
        return item

Answer 1

由于您是子类化CrawlSpider，请不要覆盖parse. CrawlSpider的链接抓取逻辑包含在parse您真正需要的 中。

至于爬行本身，这就是rulesclass 属性的用途。我还没有测试过，但它应该可以工作：

from scrapy.contrib.spiders import CrawlSpider
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.loader import XPathItemLoader
from scrapy.selector import HtmlXPathSelector

from tutorial.items import kickstarteritem

class kickstarter(CrawlSpider):
    name = 'kickstarter'
    allowed_domains = ['kickstarter.com']    
    start_urls = ['http://www.kickstarter.com/discover/recently-launched']

    rules = (
        Rule(
            SgmlLinkExtractor(allow=r'\?page=\d+'),
            follow=True
        ),
        Rule(
            SgmlLinkExtractor(allow=r'/projects/'),
            callback='parse_item'
        )
    )

    def parse_item(self, response):
        xpath = HtmlXPathSelector(response)
        loader = XPathItemLoader(item=kickstarteritem(), response=response)

        loader.add_value('url', response.url)
        loader.add_xpath('name', '//div[@class="NS-project_-running_board"]/h2[@id="title"]/a/text()')
        loader.add_xpath('launched', '//li[@class="posted"]/text()')
        loader.add_xpath('ended', '//li[@class="ends"]/text()')
        loader.add_xpath('backers', '//span[@class="count"]/data[@data-format="number"]/@data-value')
        loader.add_xpath('pledge', '//div[@class="num"]/@data-pledged')
        loader.add_xpath('goal', '//div[@class="num"]/@data-goal')

        yield loader.load_item()

蜘蛛抓取最近启动的项目的页面。

另外，使用yield代替return. 最好将蜘蛛的输出保留为生成器，它可以让您生成多个项目/请求，而无需制作一个列表来保存它们。