如何在scrapy中通过CrawlerProcess传递自定义设置？

Question

我有两个 CrawlerProcesses，每个都调用不同的蜘蛛。我想将自定义设置传递给这些进程之一以将蜘蛛的输出保存到 csv，我想我可以这样做：

storage_settings = {'FEED_FORMAT': 'csv', 'FEED_URI': 'foo.csv'}
process = CrawlerProcess(get_project_settings())
process.crawl('ABC', crawl_links=main_links, custom_settings=storage_settings )
process.start() 

在我的蜘蛛中，我将它们读作一个论点：

    def __init__(self, crawl_links=None, allowed_domains=None, customom_settings=None,  *args, **kwargs):
    self.start_urls = crawl_links
    self.allowed_domains = allowed_domains
    self.custom_settings = custom_settings
    self.rules = ......
    super(mySpider, self).__init__(*args, **kwargs)

但是我怎么能告诉我的项目设置文件“settings.py”这些自定义设置呢？我不想对它们进行硬编码，而是希望它们被自动读取。

Answer 1

您不能将这些设置告知您的文件。您可能对爬虫设置和蜘蛛设置感到困惑。在scrapy中，截至本文撰写时的提要参数需要传递给爬虫进程而不是蜘蛛。您必须将它们作为参数传递给您的爬虫进程。我和你有同样的用例。您所做的是读取当前项目设置，然后为每个爬虫进程覆盖它。请看下面的示例代码：

s = get_project_settings()
s['FEED_FORMAT'] = 'csv'
s['LOG_LEVEL'] = 'INFO'
s['FEED_URI'] = 'Q1.csv'
s['LOG_FILE'] = 'Q1.log'

proc = CrawlerProcess(s)

然后你的电话process.crawl()不正确。蜘蛛的名字应该作为字符串的第一个参数传递，就像这样：process.crawl('MySpider', crawl_links=main_links)当然MySpider应该是你的蜘蛛类中的 name 属性的值。