use*_*208 5 scrapy
现在我计划在更分散的方法中使用scrapy,我不确定蜘蛛/管道/下载程序/调度程序和引擎是否都托管在不同的进程或线程中,是否有人可以共享有关此内容的信息？我们可以更改每个组件的进程/线程数吗？我知道现在有两个设置"CONCURRENT_REQUESTS"和"CONCURRENT_ITEMS",它们将确定下载程序和管道的并发线程,对吧？如果我想在不同的机器上部署蜘蛛/管道/下载器,我需要序列化项目/请求/响应,对吗？非常感谢您的帮助!!
谢谢,爱德华.
esc*_*ram 4
Scrapy 是单线程的。它使用Reactor模式来实现并发网络请求。这是使用Twisted框架完成的。
想要分发 Scrapy 的人通常会尝试实现一些消息传递框架。有些人使用 Redis，有些人尝试 RabbitMQ
还可以看看Scrapyd
归档时间：
13 年，6 月 前
查看次数：
852 次
最近记录：
13 年 前