有人知道检测和报告日志文件中重复模式的工具吗？

Question

我需要从 Java 应用程序 (log4j) 监视一些大的嘈杂日志文件 (500m/天)。现在我手动查看文件，grep 表示“错误”等等。然而，工具应该可以发现文件中的重复模式，对它们进行计数并提供对单个条目的详细信息的深入分析。有人知道这样的工具吗？文本或基于 Web 的 UI 会很好。

Answer 1

Splunk为这类东西创造了奇迹。我在内部使用它来收集所有日志并通过其出色的基于浏览器的界面进行快速搜索。

Answer 2

我听说有人对日志文件应用贝叶斯过滤来发现有趣的内容与常规日志条目。他们使用垃圾邮件过滤器，其中常规的无趣条目被认为是“好的”，而不寻常的条目被认为是“垃圾邮件”，并且使用这种颜色他们能够进行切换。

对我来说，这听起来很像机器学习的东西，但话又说回来，我还没有看到它的实际应用，只是在喝啤酒时听说过它。