我正在开发一个包含Twitter数据的社区检测项目,我需要在关系的基础上创建一个网络.我收集并过滤了200,000个UID.我的下一步是在其中创建一个朋友/关注者网络.
我使用Ruby脚本和Twitter gem来收集,处理和存储数据.为了克服API调用限制,我使用Apigee代理,所以现在没有速率限制的问题.
获取两个UID之间关系状态的调用位于:https://dev.twitter.com/docs/api/1/get/friendships/show
我需要加快收集数据的过程.目前我的终端中有很多脚本同时运行.我发现这种方法很难管理和扩展.是否有更快,更有效,更易于管理的方式来做同样的事情？或者,我缺少一种完全不同的更好的方法吗？