我无法将scrapy配置为以深度> 1运行,我尝试了以下3个选项,但没有一个起作用,并且摘要日志中的request_depth_max始终为1:
1) 添加:
from scrapy.conf import settings
settings.overrides['DEPTH_LIMIT'] = 2
Run Code Online (Sandbox Code Playgroud)
到蜘蛛文件(网站上的例子,只是不同的网站)
2)使用-s选项运行命令行:
/usr/bin/scrapy crawl -s DEPTH_LIMIT=2 mininova.org
Run Code Online (Sandbox Code Playgroud)
3) 添加到settings.py和scrapy.cfg:
DEPTH_LIMIT=2
Run Code Online (Sandbox Code Playgroud)
应该如何配置为大于1?
scrapy ×1