从Twitter获取历史数据

Mar*_*rco 7 api twitter polling

对于一个研究项目,我想获得最近3个月的Twitter消息.除了技术挑战,这可能吗?通过使用某种慢速轮询机制来控制速率限制器?

Twitter API声明"客户端可以通过页面请求最多3,200个状态并计算时间线REST API的参数"这些是每小时?每天?或...永远不会消失?

有什么建议?它甚至在理论上是可能的吗?有人做过类似的事吗?

谢谢!马尔科

Ted*_*ngs 5

Twitter臭名昭着的是不会发布超过三周的"可用"推文.在某些情况下,你只能得到一个星期.你最好在接下来的三个月内存储推文.很多人都怀疑他们是否甚至被Twitter坚持了下来.

你在寻找任何推文吗?如果是这样,请查看Streaming API的状态/示例方法.流API使用持久的HTTP套接字,这可能是一个痛苦的程序,但它是非常优雅的,当你让它工作.我建议设置一个小脚本,将状态/样本中的推文转储到数据库中.几天后你应该有一个TON的数据.

  • 同意你不能得到旧的数据,但我认为任何人都不应该怀疑Twitter是否存档每一条推文,如果不这样做就会疯狂. (3认同)
  • 你是什​​么意思?"很多人都怀疑他们是否甚至被Twitter推迟了?" 这些推文仍然显示在未使用API​​的3周以上的个人资料中.或者我误解了你 (2认同)