对于一个研究项目,我正在使用Python-Twitter收集推文.但是,当我们的程序在一台计算机上不间断运行一周时,我们每周只能收集大约20 MB的数据.我只在一台机器上运行这个程序,所以我们不会收集两次相同的推文.
我们的程序运行一个循环,每隔60秒调用一次getPublicTimeline().我尝试通过在公共时间轴中出现的一些用户上调用getUserTimeline()来改进这一点.然而,这始终让我被禁止每次约半小时收集推文.即使没有禁令,通过添加此代码似乎也几乎没有加速.
我知道Twitter的"白名单"允许用户每小时提交更多请求.我大约三周前申请了这个,并且从那时起就没有回复,所以我正在寻找替代方案,这将使我们的计划能够更有效地收集推文,而不会超过标准的速率限制.有没有人知道从Twitter收集公共推文的更快方法？我们希望每周大约100 MB.
谢谢.