小编Rad*_*ghe的帖子

Mongodb vs Cassandra用于聚合,搜索和分析许多日志

我正在开发一个项目,将日志聚合和分析作为更大项目的一部分.我不知道选择哪个数据库来处理这些日志.最近我在MongoDB和Cassandra之间来回走动,但我确信还有其他一些也适合我的需求.我应该选择哪一个?为什么?

现在整个事情刚刚开始,但到目前为止这里是要求:

  • 日志采用syslog格式
  • 查询主要是在一个现在在消息中的小字符串,但我会在一个单独的字段上得到它.并且还会有基于日期,严重程度或标记的过滤器.很少,人们会在消息中搜索随机字符串.
  • 来自某些日志条目的每小时分析
  • 将日志保留一段可配置的时间
  • 更多的将来,我敢肯定:)这就是为什么我认为NoSQL更合适,因为我们可以改变架构.

我们期望将数据库增长到一些TB数据(每秒约50K插入),因此必须进行分片.查询不常见,因为它们主要由较大项目的开发人员使用.但结果需要在几秒钟内返回.

现在,存储对于所有机器来说都是常见的(并且很慢).因此,对于可伸缩性,我认为我们需要充分利用内存和多线程 - 以便分片有意义.

到目前为止我所获得的基本思想是MongoDB具有更多功能,例如正则表达式或排序结果,并且更容易设置到合适的配置,而Cassandra似乎更具可扩展性(通过简单地添加服务器),并且还具有一些简洁的功能,比如把数据放在TTL上.

database logging mongodb cassandra

5
推荐指数
2
解决办法
2369
查看次数

标签 统计

cassandra ×1

database ×1

logging ×1

mongodb ×1