我有一个应用程序,通过scrapyd安排scrapy抓取工作.项目很好地流向数据库,我可以通过listjobs.json端点来查看作业状态.所以很好,我甚至可以知道作业何时完成.
但是,有时候工作会失败.可能是因为HTTP错误或凭据错误.我想访问已完成的作业状态,最好是来自scrapyd api.就像listjobs.json今天给我的东西一样,我希望得到的结果如下:
{"status": "ok",
"error": [{"id": "78391cc0fcaf11e1b0090800272a6d06", "spider": "spider1"}],
"running": [{"id": "422e608f9f28cef127b3d5ef93fe9399", "spider": "spider2", "start_time": "2012-09-12 10:14:03.594664"}],
"finished": [{"id": "2f16646cfcaf11e1b0090800272a6d06", "spider": "spider3", "start_time": "2012-09-12 10:14:03.594664", "end_time": "2012-09-12 10:24:03.594664"}]}
Run Code Online (Sandbox Code Playgroud)
当然,我可以让作业自己更新一些数据库或文件,我可以从应用程序检查,但我想知道是否有更清洁的方式.
我可以有两个具有相同名称和相同 routingKey 的队列,但每个队列都绑定到另一个交换吗?