Scrapy:蜘蛛优化

6 python scrapy web-scraping scrapy-spider

我正在试图废弃一个电子商务网站,我正在分两步完成.

这个网站有这样的结构:

  • 主页包含指向family-items和subfamily-items页面的链接
  • 每个家庭和子系列页面都有一个分页的产品列表

现在我有2只蜘蛛:

  • GeneralSpider获取主页链接并存储它们
  • ItemSpider从每个页面获取元素

我是Scrapy的新手,我正在学习一些教程来实现这一目标.我想知道解析函数和规则如何工作有多复杂.我的蜘蛛现在看起来像:

GeneralSpider:

class GeneralSpider(CrawlSpider):

    name = 'domain'
    allowed_domains = ['domain.org']
    start_urls = ['http://www.domain.org/home']

    def parse(self, response):
        links = LinksItem()
        links['content'] = response.xpath("//div[@id='h45F23']").extract()
        return links
Run Code Online (Sandbox Code Playgroud)

ItemSpider:

class GeneralSpider(CrawlSpider):

    name = 'domain'
    allowed_domains = ['domain.org']
    f = open("urls.txt")
    start_urls = [url.strip() for url in f.readlines()]
    # Each URL in the file has pagination if it has more than 30 elements
    # I don't know how to paginate over each URL
    f.close()

    def parse(self, response):
        item = ShopItem()
        item['name'] = response.xpath("//h1[@id='u_name']").extract()
        item['description'] = response.xpath("//h3[@id='desc_item']").extract()
        item['prize'] = response.xpath("//div[@id='price_eur']").extract()
        return item
Run Code Online (Sandbox Code Playgroud)
  • 这是让蜘蛛跟随网址分页的最好方法吗?
  • 如果分页是JQuery,意味着URL中没有GET变量,是否可以遵循分页?

  • 我可以在同一个蜘蛛中使用不同的" 规则 "来废弃页面的不同部分吗?或者最好让蜘蛛专业化,每只蜘蛛都专注于一件事?

我也谷歌搜索任何与Scrapy相关的书,但似乎还没有任何完成的书,或者至少我找不到一本书.

  • 有谁知道一些即将发布的Scrapy书?

编辑:

这2个URL适用于此示例.在Eroski主页中,您可以获得产品页面的URL.

在产品页面中,您有一个分页项目列表(Eroski项目):

在Eroski Fruits页面中,项目的分页似乎是JQuery/AJAX,因为当你向下滚动时会显示更多项目,有没有办法用Scrapy获取所有这些项目?

ale*_*cxe 4

让蜘蛛跟随 url 分页的最佳方法是什么?

这是非常特定于站点的,并且取决于分页的实现方式。

如果分页是 JQuery,意味着 URL 中没有 GET 变量,是否可以遵循分页?

这正是您的用例 - 分页是通过额外的 AJAX 调用进行的,您可以在 Scrapy 蜘蛛中模拟这些调用。

我可以在同一个蜘蛛中使用不同的“规则”来抓取页面的不同部分吗?或者让蜘蛛专门化,每只蜘蛛专注于一件事更好?

是的,aCrawlSpider提供的“规则”机制是一项非常强大的技术 - 它是高度可配置的 - 您可以有多个规则,其中一些规则将遵循匹配特定条件的特定链接,或位于页面的特定部分。与拥有多个蜘蛛相比,拥有一个具有多个规则的蜘蛛应该是首选。

谈到您的具体用例,想法如下:

  • rule在主页的导航菜单中创建一个关注类别和子类别 - 这restrict_xpaths会有帮助
  • 在回调中,对于每个类别或子类别,yield当Request您打开类别页面时,它会模仿浏览器发送的 AJAX 请求
  • 在 AJAX 响应处理程序(回调)中,解析可用项目和同一类别/子类别的yield另一个项目,但增加GET 参数(获取下一页)Requestpage

工作实施示例:

import re
import urllib

import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor


class ProductItem(scrapy.Item):
    description = scrapy.Field()
    price = scrapy.Field()


class GrupoeroskiSpider(CrawlSpider):
    name = 'grupoeroski'
    allowed_domains = ['compraonline.grupoeroski.com']
    start_urls = ['http://www.compraonline.grupoeroski.com/supermercado/home.jsp']

    rules = [
        Rule(LinkExtractor(restrict_xpaths='//div[@class="navmenu"]'), callback='parse_categories')
    ]

    def parse_categories(self, response):
        pattern = re.compile(r'/(\d+)\-\w+')
        groups = pattern.findall(response.url)
        params = {'page': 1, 'categoria': groups.pop(0)}

        if groups:
            params['grupo'] = groups.pop(0)
        if groups:
            params['familia'] = groups.pop(0)

        url = 'http://www.compraonline.grupoeroski.com/supermercado/ajax/listProducts.jsp?' + urllib.urlencode(params)
        yield scrapy.Request(url,
                             meta={'params': params},
                             callback=self.parse_products,
                             headers={'X-Requested-With': 'XMLHttpRequest'})

    def parse_products(self, response):
        for product in response.xpath('//div[@class="product_element"]'):
            item = ProductItem()
            item['description'] = product.xpath('.//span[@class="description_1"]/text()').extract()[0]
            item['price'] = product.xpath('.//div[@class="precio_line"]/p/text()').extract()[0]
            yield item

        params = response.meta['params']
        params['page'] += 1

        url = 'http://www.compraonline.grupoeroski.com/supermercado/ajax/listProducts.jsp?' + urllib.urlencode(params)
        yield scrapy.Request(url,
                             meta={'params': params},
                             callback=self.parse_products,
                             headers={'X-Requested-With': 'XMLHttpRequest'})
Run Code Online (Sandbox Code Playgroud)

希望这对您来说是一个良好的起点。


有谁知道是否有一些 Scrapy 书籍即将发布?

我不记得什么具体的事情了。

虽然我听说一些出版商有一些计划可能会出版一本关于网络抓取的书,但我不应该告诉你。