小编soj*_*wok的帖子

怎么重启Scrapy蜘蛛

我需要的:

  1. 启动爬虫
  2. 履带完成工作
  3. 等1分钟
  4. 再次启动爬虫

我试试这个:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from time import sleep

while True:
    process = CrawlerProcess(get_project_settings())
    process.crawl('spider_name')
    process.start()
    sleep(60)
Run Code Online (Sandbox Code Playgroud)

但得到错误:

twisted.internet.error.ReactorNotRestartable

请帮我做对

Python 3.6
Scrapy 1.3.2
Linux

python scrapy python-3.x scrapy-spider

7
推荐指数
2
解决办法
1645
查看次数

标签 统计

python ×1

python-3.x ×1

scrapy ×1

scrapy-spider ×1