我们正在研究开发一种工具来捕获和分析我们收集的大量网络流量数据。每天我们捕获大约 14 亿条流记录，它们的 json 格式如下所示：
{
"tcp_flags": "0",
"src_as": "54321",
"nexthop": "1.2.3.4",
"unix_secs": "1352234521",
"src_mask": "23",
"tos": "0",
"prot": "6",
"input": "105",
"doctets": "186",
"engine_type": "0",
"exaddr": "2.3.4.5",
"engine_id": "2",
"srcaddr": "9.8.7.6",
"dst_as": "12345",
"unix_nsecs": "752265174",
"sysuptime": "2943529544",
"dst_mask": "24",
"dstport": "80",
"last": "2943523241",
"srcport": "52672",
"dpkts": "4",
"output": "111",
"dstaddr": "6.5.4.3",
"first": "2943517993"
}
我们希望能够对数据集进行快速搜索（少于 10 秒），最有可能在很短的时间内（10 - 30 分钟间隔）。我们还希望索引大部分数据点，以便我们可以快速搜索每个数据点。我们还希望在执行搜索时拥有最新的数据视图。留在开源世界会很棒，但我们不反对为这个项目寻找专有解决方案。
这个想法是保留大约一个月的数据，这将是大约 432 亿条记录。粗略估计，每条记录将包含大约 480 字节的数据，相当于一个月内约 18.7 TB 的数据，可能是索引的三倍。最终，我们希望增加该系统存储数万亿条记录的能力。
我们已经（非常基本地）评估了 couchbase、cassandra 和 mongodb 作为这个项目的可能候选者，但是每个人都提出了自己的挑战。使用 couchbase，索引是每隔一段时间完成的，而不是在插入数据期间完成，因此视图不是最新的，cassandra 的二级索引在返回结果方面效率不高，因为它们通常需要扫描整个集群以获取结果，而 mongodb 看起来很有希望但是由于它是主/从/分片，因此扩展似乎要困难得多。我们计划评估的其他一些候选者是 elasticsearch、mysql（不确定这是否适用）和一些面向列的关系数据库。任何建议或现实世界的经验将不胜感激。