Scrapyd:如何设置scrapyd任务优先级？

Question

我有几个scrapy项目.我用scrapyd部署了所有这些.有些蜘蛛很慢而有些蜘蛛很快.现在,我想首先运行快速蜘蛛.怎么做？

Answer 1

我遇到了同样的问题.但我读了源代码,scrapyd看起来scrapyd可以处理它.但是,这没有记录.

您需要添加一个以priority所需值命名的参数.默认优先级为0.

例如:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d priority=1