小编Ore*_*fon的帖子

有人可以推荐合成数据生成器吗?

有没有人遇到过一个免费的数据生成器,可以创建合成数据加载到数据库中进行测试?

database

8
推荐指数
1
解决办法
7038
查看次数

scrapyd:是否可以返回作业的ERROR状态

我有一个应用程序,通过scrapyd安排scrapy抓取工作.项目很好地流向数据库,我可以通过listjobs.json端点来查看作业状态.所以很好,我甚至可以知道作业何时完成.

但是,有时候工作会失败.可能是因为HTTP错误或凭据错误.我想访问已完成的作业状态,最好是来自scrapyd api.就像listjobs.json今天给我的东西一样,我希望得到的结果如下:

{"status": "ok",


"error": [{"id": "78391cc0fcaf11e1b0090800272a6d06", "spider": "spider1"}],
 "running": [{"id": "422e608f9f28cef127b3d5ef93fe9399", "spider": "spider2", "start_time": "2012-09-12 10:14:03.594664"}],
 "finished": [{"id": "2f16646cfcaf11e1b0090800272a6d06", "spider": "spider3", "start_time": "2012-09-12 10:14:03.594664", "end_time": "2012-09-12 10:24:03.594664"}]}
Run Code Online (Sandbox Code Playgroud)

当然,我可以让作业自己更新一些数据库或文件,我可以从应用程序检查,但我想知道是否有更清洁的方式.

python scrapy scrapyd

6
推荐指数
0
解决办法
216
查看次数

RabbitMQ:不同交易所的相似队列

我可以有两个具有相同名称和相同 routingKey 的队列,但每个队列都绑定到另一个交换吗?

amqp rabbitmq

3
推荐指数
2
解决办法
1649
查看次数

标签 统计

amqp ×1

database ×1

python ×1

rabbitmq ×1

scrapy ×1

scrapyd ×1