Scrapyd允许您通过方便的Web API在与您使用的机器不同的机器上运行scrapy,这意味着您可以使用curl甚至是Web浏览器上载新的项目版本并运行它们.否则,如果你想在云端的某个地方运行Scrapy,你必须scp复制新的蜘蛛代码,然后登录ssh并生成你的scrapy crawl myspider.
如果您想并行运行多个蜘蛛,Scrapyd也会为您管理流程; 但是如果你在本地机器上有Scrapy并且可以访问命令行或者运行蜘蛛的方法,并且只想一次运行一个蜘蛛,那么你最好手动运行蜘蛛.
如果您正在开发蜘蛛,那么肯定您不想使用scrapyd快速编译/测试迭代,因为它只是增加了一层复杂性.
| 归档时间： |
|
| 查看次数： |
2669 次 |
| 最近记录： |