小编use*_*757的帖子

不能爬取深度超过 1 的scrapy

我无法将scrapy配置为以深度> 1运行,我尝试了以下3个选项,但没有一个起作用,并且摘要日志中的request_depth_max始终为1:

1) 添加:

from scrapy.conf import settings
settings.overrides['DEPTH_LIMIT'] = 2
Run Code Online (Sandbox Code Playgroud)

到蜘蛛文件(网站上的例子,只是不同的网站)

2)使用-s选项运行命令行:

/usr/bin/scrapy crawl -s DEPTH_LIMIT=2 mininova.org
Run Code Online (Sandbox Code Playgroud)

3) 添加到settings.pyscrapy.cfg

DEPTH_LIMIT=2
Run Code Online (Sandbox Code Playgroud)

应该如何配置为大于1?

scrapy

5
推荐指数
1
解决办法
6922
查看次数

标签 统计

scrapy ×1