使用CouchDB与Hadoop存储/分析Web应用程序日志数据的优点是什么?

dan*_*dan 3 logging analytics hadoop couchdb ruby-on-rails

我想从使用普通Rails日志文件升级到我的Web应用程序,因此我可以分析页面视图和使用模式.我听说有时会使用CouchDB.

另一方面,我知道有些人只是将纯文本日志文件提供给Hadoop并将它们缩减为汇总统计信息,然后将它们插入到MySQL中.

这两种日志文件记录和分析方法的优缺点是什么?

Mik*_*erg 7

我只能说CouchDB,但使用文档数据库来存储这些东西的主要好处是;

  • 它们的架构较少,因此您可以更改日志条目的架构,并仍然可以对您可能拥有的架构的各种版本执行查询.
  • map/reduce算法是一种非常强大的分组查询方法.
  • REST接口使其在消费数据方面与技术无关.
  • 缩放是水平的并且是"无限的".