我正在尝试抓取一个论坛网站。如果有的话，该履带板可以正常工作
CONCURRENT_REQUESTS = 1
但是如果我增加这个数字，那么我会得到这个错误
2012-12-21 05：04：36 + 0800 [正在工作]调试：正在重试http://www.example.com/profile.php?id=1580>（失败1次）：503服务不可用
我想知道论坛是阻止请求还是存在一些设置问题。
HTTP状态码503“服务不可用”表示（由于某种原因）服务器无法处理您的请求。通常是暂时性错误。我想知道您是否被阻止，请稍后再试，看看会发生什么。
这也可能意味着您抓取页面的速度过快。解决方法不是通过将并发请求保持为1（并可能增加延迟）来做到这一点。讲礼貌。
你会如果你是刮足够遇到各种错误。只要确保您的搜寻器可以处理它们即可。