Scrapy设置每个allowed_domains的深度限制

Question

我正在抓取6个不同的allowed_domains,并希望限制1个域的深度.我如何在scrapy中限制1个域的深度？或者是否可以只抓取1个深度的异地域？

Answer 1

Scrapy不提供这样的东西.您可以设置DEPTH_LIMIT每个蜘蛛,但不能设置每个域.

我们能做什么？阅读代码,喝咖啡并解决(订单很重要).

这个想法是禁用Scrapy的内置DepthMiddleware和提供我们的定制一个来代替.

首先,让我们定义设置:

• DOMAIN_DEPTHS 将是一个每个域有深度限制的字典
• DEPTH_LIMIT 设置我们将保留默认值,以防未配置域

示例设置:

DOMAIN_DEPTHS = {'amazon.com': 1, 'homedepot.com': 4}
DEPTH_LIMIT = 3

好的,现在是自定义中间件(基于DepthMiddleware):

from scrapy import log
from scrapy.http import Request
import tldextract


class DomainDepthMiddleware(object):
    def __init__(self, domain_depths, default_depth):
        self.domain_depths = domain_depths
        self.default_depth = default_depth

    @classmethod
    def from_crawler(cls, crawler):
        settings = crawler.settings
        domain_depths = settings.getdict('DOMAIN_DEPTHS', default={})
        default_depth = settings.getint('DEPTH_LIMIT', 1)

        return cls(domain_depths, default_depth)

    def process_spider_output(self, response, result, spider):
        def _filter(request):
            if isinstance(request, Request):
                # get max depth per domain
                domain = tldextract.extract(request.url).registered_domain
                maxdepth = self.domain_depths.get(domain, self.default_depth)

                depth = response.meta.get('depth', 0) + 1
                request.meta['depth'] = depth

                if maxdepth and depth > maxdepth:
                    log.msg(format="Ignoring link (depth > %(maxdepth)d): %(requrl)s ",
                            level=log.DEBUG, spider=spider,
                            maxdepth=maxdepth, requrl=request.url)
                    return False
            return True

        return (r for r in result or () if _filter(r))

请注意,它需要tldextract安装模块(用于从URL中提取域名):

>>> import tldextract
>>> url = 'http://stackoverflow.com/questions/27805952/scrapy-set-depth-limit-per-allowed-domains'
>>> tldextract.extract(url).registered_domain
'stackoverflow.com'

现在我们需要关闭默认的中间件并使用我们实现的中间件:

SPIDER_MIDDLEWARES = {
    'myproject.middlewares.DomainDepthMiddleware': 900,
    'scrapy.contrib.spidermiddleware.depth.DepthMiddleware': None
}