在tweepy中使用推文ID检索推文列表

Question

我有一个包含推文ID列表的文件,我想要检索这些推文.该文件包含超过100000条推文,而twitter API仅允许检索100条.

api = tweepy.API(auth)
good_tweet_ids = [i for i in por.TweetID[0:100]]
tweets = api.statuses_lookup(good_tweet_ids)
for tweet in tweets:
    print(tweet.text)

有没有办法检索更多的推文说1000或2000,我不想采取数据样本并将结果保存到文件并每次更改推文ID的索引,所以有办法做到这一点!？

Answer 1

是的 - 推特只允许您一次查找100条推文,但在此之后您可以立即查找另外100条推文.唯一需要考虑的是速率限制 - 您可以在每个15分钟窗口中对API进行的调用次数进行限制.幸运的是,当您使用创建API时,tweepy能够正常处理此问题wait_on_rate_limit=True.然后,我们需要做的就是将完整的推文ID列表处理成100个或更少的批次(假设您有130个 - 第二个批次应该只是最终的30个)并且一次查找一个.请尝试以下方法:

import tweepy


def lookup_tweets(tweet_IDs, api):
    full_tweets = []
    tweet_count = len(tweet_IDs)
    try:
        for i in range((tweet_count / 100) + 1):
            # Catch the last group if it is less than 100 tweets
            end_loc = min((i + 1) * 100, tweet_count)
            full_tweets.extend(
                api.statuses_lookup(id=tweet_IDs[i * 100:end_loc])
            )
        return full_tweets
    except tweepy.TweepError:
        print 'Something went wrong, quitting...'

consumer_key = 'XXX'
consumer_secret = 'XXX'
access_token = 'XXX'
access_token_secret = 'XXX'

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)

api = tweepy.API(auth, wait_on_rate_limit=True, wait_on_rate_limit_notify=True)

# do whatever it is to get por.TweetID - the list of all IDs to look up

results = lookup_tweets(por.TweetID, api)

for tweet in results:
    if tweet:
        print tweet.text