Mar*_*oli 2 python scrapy python-2.7 scrapyd
我已经像这样安装了scrapyd
pip install scrapyd
Run Code Online (Sandbox Code Playgroud)
我想使用scrapyd-deploy
当我输入scrapyd
我在cmd中遇到此异常:
'scrapyd'不被识别为内部或外部命令,可操作程序或批处理文件.
小智 15
我遇到了同样的问题,我也读到了一些意见,说scrapyd不可用/无法在Windows上运行而且几乎放弃了(我真的不需要它,因为我打算部署到linux机器,想要scrapyd在Windows上用于调试目的).然而,经过一些研究,我发现了一种方法.由于我没有找到任何明确的指示,我会尽量详细说明我的答案,列出对我有用的所有步骤.
假设您要在本地计算机上运行scrapyd,则需要运行两个命令行:第一个用于连接到scrapyd并保持连接打开,第二个用于部署和调度.
你已经安装了scrapyd.
在此文件夹中创建一个文件夹C:\ scrapyd和一个名为scrapyd.log的空.log文件(不确定此步骤是否必要).
打开你的cmd并cd到Python里面的Scripts文件夹.这通常类似于:C:\ Python27\Scripts.类型:python scrapyd
此时你应该看到类似的东西:
2014-03-26 13:57:30+0200 [-] Log opened.
2014-03-26 13:57:30+0200 [-] twistd 13.2.0 (C:\Python27\python.exe 2.7.6) starting up.
2014-03-26 13:57:30+0200 [-] reactor class: twisted.internet.selectreactor.SelectReactor.
2014-03-26 13:57:30+0200 [-] Site starting on 6800
2014-03-26 13:57:30+0200 [-] Starting factory <twisted.web.server.Site instance at 0x0000000003F69208>
2014-03-26 13:57:30+0200 [Launcher] Scrapyd 1.0.1 started: max_proc=16, runner='scrapyd.runner'
Run Code Online (Sandbox Code Playgroud)如果你可以打开你的浏览器,http://localhost:6800那么你就可以了.命令行窗口应在后台保持打开状态,因为如果您将关闭它,将关闭连接.
在Windows资源管理器中导航到您的scrapy项目文件夹并编辑在那里找到的scrapy.cfg文件:编写您的部署目标名称:例如[deploy:scrapyd],并取消注释url行.
打开第二个命令行并cd到您的scrapy项目文件夹.类型:scrapy deploy -l
部署:键入:( scrapy deploy scrapyd -p project_namescrapyd是您的目标).您应该获得服务器响应代码200和ok状态.您还可以通过键入以下内容来检查部署是否成功:scrapy deploy -L scrapyd
调度:您需要为Windows安装curl.方法如下:questions/9507353/steps-to-setup-curl-in-windows
类型:curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name
再次,您应该获得一个正常状态,并且在您的浏览器中http://localhost:6800,您可以检查作业是否确实已安排.
我希望这有帮助.
| 归档时间: |
|
| 查看次数: |
2733 次 |
| 最近记录: |