让Scrapy从上一个断点继续爬网

Question

我正在使用scrapy爬行网站，但是发生了坏事（断电等）。

我不知道如何继续从断裂处爬行。我不想从种子开始。

Answer 1

这可以通过将计划的请求保留到磁盘来完成。

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

有关更多信息，请参见http://doc.scrapy.org/en/latest/topics/jobs.html。