Splunk 非常昂贵：有哪些替代方案？

Question

可能的重复：
Splunk 的替代品？

这个已经讨论过了，但是已经几个月了，所以可能是时候重新审视它了：

之前的讨论 RE Splunk 替代方案

郑重声明，Splunk 非常棒。但是定价完全超出了我们的考虑范围（当我今天与 Splunk 交谈时，系统索引 5GB/天的数据的成本超过 30,000 美元。）

这比我们在 SQL Server 上花费的钱（成倍数）多，比我们在服务器机架上花费的钱数（成倍数）多，等等。

splunk 销售团队是正确的（30,000 美元，我们获得的价值和功能比我们花同样的钱构建自己的系统要多），但这并不重要。splunk 成本太高了（成倍增加）。

Soooooo，我们在环顾四周！

有没有人在那里构建类似 splunk 的系统？

我们的基本需求：

• 能够在多个 udp 端口​​上侦听系统日志消息
• 能够以异步方式索引传入的数据
• 某种搜索引擎
• 某种用户界面
• 搜索引擎的 API（嵌入到我们的控制台中）

我们目前需要索引 3-5gb/天，但需要能够扩展到 10gb/天或更多。我们不需要很多历史记录（30 天就可以了）。

我们使用 Windows 2008 和 2003 服务器。

谢谢你的想法！

更新：我们花了两周时间研究商业和开源选项。我们的结论：写我们自己的（我们是一家软件公司……我们知道如何写东西）。我们在 mongodb 和 .NET 上构建了一个很棒的系统，它在大约一个工程周内为我们提供了我们需要的 MongoDB 功能。我们现在已经完成了我们的实施。我们使用两台 Mongodb 服务器（主从），能够记录和索引任意数量的日志数据（5GB/天、15GB/天等），仅受磁盘空间的限制。

更新至更新（2012 年 12 月）：我们继续使用我们的 mongodb 解决方案，而且效果很好！如果我们今天要构建它，我们会强烈考虑在 elasticsearch 之上构建它。

观察：这个空间需要一个固定价格为 1000-3000 美元的可靠解决方案。商业公司使用的许可模型基于“挤奶数据中心操作员”模型。那是他们的权利（当然！），但它留下了一个巨大的空间让某人进入他们下面。我的猜测是，再过一两年，将会有一个很好的开源解决方案，它会真正可用。

感谢大家的投入（即使是自我推销）。

Answer 1

logstash 是一个管理事件和日志的工具。您可以使用它来收集日志、解析它们并存储它们以备后用（例如用于搜索）。说到搜索，logstash 带有一个 Web 界面，用于搜索和钻取所有日志。

https://www.elastic.co/products/logstash

它仍然处于开发初期，但听起来很有希望并且进展迅速。

Answer 2

在我的脑海中，我没有用于以下内容的比较矩阵，尤其是在与 splunk 进行比较时：

这些是一些完全可操作的工具：

八爪鱼 http://www.octopussy.pm

日志报告 http://www.logreport.org/

军鼓：http : //www.intersectalliance.com/projects/index.html

日志浏览器：http : //www.crypt.gen.nz/logsurfer/

日志分析器：http : //loganalyzer.adiscon.com/

Log 2 时间线：http : //log2timeline.net/#download （这更像是一个“时间线”分析工具）

最后，如果您想自己进行一些编码，但可能有一个更具可扩展性的解决方案：（以下是收集日志数据的工具，它们不需要具备所有开箱即用的功能来搜索数据。）

Honu https://github.com/jboulon/Honu

Chukwa http://wiki.apache.org/hadoop/Chukwa

水槽 http://archive.cloudera.com/cdh/3/flume/

编辑：添加了这个比较链接：http : //csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html

编辑：添加Graylog2：添加Logstash。Logstash 可能是当今成为“开源 splunk 替代品”的最佳选择。