在Scrapy中设置线程池大小

-1 python multithreading scrapy

如何在Scrapy(python)中设置Thread Poolsize?

Ste*_*oth 5

由于Scrapy不使用多个线程而是使用一个名为Twisted的底层异步http框架,你必须谈论你一次可以运行多少个蜘蛛?请参阅CONCURRENT_REQUESTS文档. 默认值:16