Scrapy在第一页上没有抓取,规则跟随下一页

Question

我用递归规则做了一个蜘蛛,按照下一页的链接.它工作正常.
蜘蛛抓取所有页面(999),但"start_urls"中定义的第一页除外.有人遇到过这个问题吗？

示例代码:

class example(CrawlSpider):
    name = "example"
    allowed_domains = ["example.ndd"]
    start_urls = ["http://example.ndd/startnum=1"] #first page  

    rules = (Rule(SgmlLinkExtractor(allow=("nextPage\.htm", ),
                            restrict_xpaths=('//div[@class="paging"]/p[@class="nav"]',)), 
                            callback="parse_items", follow= True),)

    def parse_items(self, response):
        hxs = HtmlXPathSelector(response)
        links= hxs.select('//td[@class="desc"]/h3/a/@href').extract()
        list = []
        for link in links:
            yield link
        return

编辑:搜索后,爬虫看到直接跟随规则的限制路径的结果.同样如果从startnum = 1开始,它抓取startnum = 11,这是在startnum = 1的页面内..
我不知道如何解决这个问题.

Answer 1

你需要使用: def parse_start_url(self, response):

请参阅此答案:Scrapy CrawlSpider不会抓取第一个登录页面