Ruby Twitter Gem,超出了速率限制

Question

我正在尝试使用ruby gem Twitter(https://github.com/sferik/twitter)从twitter api中获取用户的关注者.

根据文档(https://dev.twitter.com/docs/api/1/get/followers/ids),twitter在一个请求中返回5000个用户.根据速率限制设置,twitter允许我每15分钟拨打15个电话(https://dev.twitter.com/docs/rate-limiting/1.1/limits)

问题:

当我检索超过75000个关注者(5000*15)的用户的关注者时,我收到"超出限制率"错误.

当我使用gem方法Twitter.followers_id(用户)时,我会自动获得所有关注者,而不是使用游标的5000个桶.我猜宝石在内部处理这个问题,因此我无法控制或延迟这些请求.

在gem文档中有一个速率限制的例子(https://github.com/sferik/twitter#rate-limiting),但我不知道是否照顾已经检索过的用户或者从新鲜开始.

我的问题是如何以及何时应用限制机制来获取所有关注者？

问候

Answer 1

这里解释了这个问题的解决方法.

MAX_ATTEMPTS = 3
num_attempts = 0
begin
  num_attempts += 1
  retweets = Twitter.retweeted_by_user("sferik")
rescue Twitter::Error::TooManyRequests => error
  if num_attempts <= MAX_ATTEMPTS
    # NOTE: Your process could go to sleep for up to 15 minutes but if you
    # retry any sooner, it will almost certainly fail with the same exception.
        sleep error.rate_limit.reset_in
    retry
  else
    raise
  end
end

Answer 2

将 sleep 命令添加到位于 lib/twitter/api/utils.rb 的 Twitter gem 中的cursor_from_response_with_user 方法

https://github.com/sferik/twitter/blob/master/lib/twitter/api/utils.rb

def cursor_from_response_with_user(collection_name, klass, request_method, path, args, method_name)
  puts "sleeping 60"
  sleep 60
  arguments = Twitter::API::Arguments.new(args)
  merge_user!(arguments.options, arguments.pop || screen_name) unless arguments.options[:user_id] || arguments.options[:screen_name]
  cursor_from_response(collection_name, klass, request_method, path, arguments.options, method_name)
end

每个游标响应至少需要 60 秒，因此您不会超过每 15 分钟 15 个请求。这有点麻烦，但它会一直有效，直到针对 75K+ follower_ids 解决此问题为止。