Scrapy 从 settings.py 中获取设置(还有默认设置、项目设置、每个蜘蛛设置)。我正在寻找的是能够拥有多个带有设置的文件,并且能够在我快速启动我的蜘蛛时在它们之间切换。如果文件之间有一些继承,那也会很棒。
如果您从 Java 世界了解 Spring Boot,那么您就会了解配置文件。您有带有基本设置的 application.settings 文件。然后你可以拥有 application-dev.settings 和 application-prod.settings。如果您使用选项 -Dspring.profiles.active=dev 运行您的应用程序,那么它会选择 application.settings 并在其上添加 application-dev.settings。通过这种方式,您可以并行维护多个配置并在它们之间快速切换。
我找到了一种不需要支持代码的 Scrapy 方法。方法是使用 SCRAPY_SETTINGS_MODULE 并在我的 dev 和 prod 模块中导入基本设置文件。你还有其他方法吗?
在我的情况下,启动线看起来像:
export SCRAPY_SETTINGS_MODULE=projectname.profiles.dev && scrapy crawl myspider
Run Code Online (Sandbox Code Playgroud) scrapy ×1