如何更改scrapy请求队列大小？如何实现严格的DFO订单

Question

根据常见问题解答,Scrapy首先探索深度,但我注意到它会在运行任何更深层的请求之前处理来自start_urls的10到30个请求.

在处理start_urls之前,我可以更改参数并强制scrapy探索深度吗？

参考http://doc.scrapy.org/en/latest/faq.html#does-scrapy-crawl-in-breadth-first-or-depth-first-order

Answer 1

正如Apalala 所建议的，如果您确实想使用 Scrapy 强制执行特定的请求顺序，那么内联请求就是正确的选择。

根据设计，Scrapy 并不意味着遵循严格的请求顺序，对于大多数用例Request.meta，优先级（来自Request构造函数）甚至您提到的DEPTH_PRIORITY设置就足够了。