访问 Metacritic API 和/或 Scraping

Question

有谁知道 Metacritic api 的文档在哪里/它是否仍然有效。https://market.mashape.com/byroredux/metacritic-v2#get-user-details上曾经有一个 Metacritic API，今天消失了。

否则，我试图自己抓取该网站，但一直被 429 慢下来阻止。这个小时我获得了 3 次数据，但在过去 20 分钟内无法获得更多数据，这使得测试变得困难并且应用程序可能无用。如果还有什么我可以做的事情来逃避我不知道的事情，请告诉我。

Answer 1

我必须像 JCDJulian 所说的那样添加一个用户代理，现在它允许我进行抓取。所以对于红宝石来说：

agent = Mechanize.new
agent.user_agent_alias = "Mac Firefox"

然后它不再给我 403 Forbidden 错误。