lor*_*771 8 python twisted scrapy web-scraping scrapyd
我创建了几个我打算与scrapyd同时运行的网络蜘蛛.我首先使用以下命令在Ubuntu 14.04中成功安装了scrapyd:pip install scrapyd,当我运行命令:scrapyd时,我在终端中得到以下输出:
2015-07-14 01:22:02-0400 [-] Log opened.
2015-07-14 01:22:02-0400 [-] twistd 13.2.0 (/usr/bin/python 2.7.6) starting up.
2015-07-14 01:22:02-0400 [-] reactor class: twisted.internet.epollreactor.EPollReactor.
2015-07-14 01:22:02-0400 [-] Site starting on 6800
2015-07-14 01:22:02-0400 [-] Starting factory <twisted.web.server.Site instance at 0x7f762f4391b8>
2015-07-14 01:22:02-0400 [Launcher] Scrapyd 1.1.0 started: max_proc=8, runner='scrapyd.runner'
Run Code Online (Sandbox Code Playgroud)
我相信我得到这个输出的事实表明scrapy正在发挥作用; 然而,当我运行命令:scrapyd部署作为文档,我得到的错误:scrapyd部署:命令未找到.如果安装成功,这怎么可能?我在配置文件中包含以下目标:
[deploy:scrapyd2]
url = http://scrapyd.mydomain.com/api/scrapyd/
username = name
password = secret
Run Code Online (Sandbox Code Playgroud)
我不确定目标是如何工作的,但我基本上是从文档中复制它,所以我认为它会起作用.有没有我应该导入或配置的东西,我没有?谢谢.
roc*_*m4l 14
scrapyd-deploy是scrapyd-client的一部分.你可以从PyPi安装它.尝试:
$ sudo pip install scrapyd-client
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
4304 次 |
| 最近记录: |