用于存储网络流量的数据库

Question

我正在开发一个软件来监控网络流量，我需要一个在存储和查询数据包头字段方面非常快的数据库服务器。我知道有一种 .pcap 文件格式，但它不适合我，因为我每天要存储大约 10 TB 的流量。是否存在某种专门用于网络流量的数据库服务器？

Answer 1

在那个卷上，你问错了问题。您应该问的问题是：我需要用我捕获的信息回答哪些问题？

从中您可以回答存储引擎的问题。你真的需要每个字节吗？您是否需要结构化来回答临时问题，或者回答一些非常结构化的具体问题？

您可以将其分片到多台机器上，还是仅限于单个系统？

您是否需要同时读取和写入 - 这将使您的 IOPS 增加一倍以上 - 还是在不同时间完成？您是否需要实时索引，还是可以单独构建它们？你需要索引吗？什么？

您在这里谈论的是超过 100MB/s 的数据存储，但这是否反映了负载？您是否有突发流或稳态流？接收和存储之间是否存在延迟是否重要？您是否必须按顺序提交，或者您是否可以对查询端的数据进行无序可见性？

无论如何，要尽可能好地回答具体问题，请查看各种 NetFlow 存储和分析工具。这些与您可能会得到这个问题的通用答案一样接近。