小编pyf*_*eyr的帖子

如何将所有 CPU 内核用于 Scrapy

无论CONCURRENT_REQUESTS我怎么做,我的scrapy 程序都只使用一个CPU 内核。如果scrapy中的某些方法可以在一个scrapy爬虫中使用所有cpu核心?

ps:max_proc在早期版本中似乎有争论可以使用,但我现在找不到了。

scrapy

5
推荐指数
1
解决办法
951
查看次数

标签 统计

scrapy ×1