我在以下目录中有一个scrapy项目“教程”
C:\wamp64\www\教程>
项目目录结构如下。
我想通过我的自定义 python 脚本runningpiders.py运行蜘蛛
from __future__ import print_function
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
def main():
process = CrawlerProcess(get_project_settings())
process.crawl("quotes")
process.start()
if __name__ == '__main__' : main()
Run Code Online (Sandbox Code Playgroud)
当自定义python脚本从scrapy项目文件夹中运行时,蜘蛛可以正常运行,例如
C:\wamp64\www\tutorial>python runningpiders.py
但是当自定义 python 脚本从项目文件夹之外运行时,scrapy 会引发以下异常,例如
C:\wamp64\www>python 教程/runspiders.py
File "C:\Python27\lib\site-packages\scrapy\spiderloader.py", line 43, in load
raise KeyError("Spider not found: {}".format(spider_name))
KeyError: 'Spider not found: quotes'
Run Code Online (Sandbox Code Playgroud)