我有兴趣将所有Rails应用程序日志记录发送到数据库(MySQL或MongoDB),作为日志文件的补充或替代.有几个原因,其中大多数都关注日志文件分析.我们已经使用了Google Analytics(分析),但我们想要做的各种事情在Google Analytics中并不可行.
此外,我想通过查看日志来对问题进行"实时"调查.筛选日志文件是一种繁琐的方法,我希望能够比日志文件(轻松)更好地进行搜索和过滤.
最后,我经常想要检查更接近网站访问者行为的内容:例如,跟踪网站中的路径,以便我可以看到在发生错误之前用户正在查看的最后一页是什么.鉴于我们有多个应用服务器,单独的日志文件使这真的很痛苦.如果所有数据都在数据库中,那么我可以很容易地看到给定访问者的正确页面序列.我知道Syslog是解决这个特定事物的一种方式(单个日志文件/存储库),但我希望将它与我与数据库搜索相关联的更好的搜索能力结合起来.
我想知道人们建议解决这个问题.您是直接登录到数据库,还是将日志文件转储到数据库中(但是您的方法是什么,以便它基本上是实时/最新的日志文件本身)？
我目前正在确定我喜欢这种日志记录的级别,因为我看到的另一件事是编写一个可以记录所有请求的小型Rack过滤器.这将错过正常Rails日志记录转储出来的所有额外输出(缓存命中和未命中的所有SQL和输出等),但它会实现我的目标的很大一部分,并且似乎具有不打扰的优势系统中的任何其他内容.
无论如何,我不是在寻找一个正确的答案,更多的是关于其他人可能在同样的事情中做什么的讨论和信息.
这是我遇到的问题,我有一套可以快速增长的日志.它们每天都被分成单独的文件,文件可以很容易地增长到一个大小的演出.为了帮助减小尺寸,超过30天左右的条目将被清除.
问题是我想在这些文件中搜索某个字符串.现在,Boyer-Moore搜索速度慢得令人难以置信.我知道像dtSearch这样的应用程序可以使用索引提供非常快速的搜索,但我不确定如何在不占用日志占用空间的两倍的情况下实现它.
有没有我可以查看的资源可以提供帮助？我真的在寻找一种标准算法,它将解释我应该如何构建索引并使用它来搜索.
编辑:
Grep将无法正常工作,因为此搜索需要集成到跨平台应用程序中.我无法摆动包括任何外部程序.
它的工作方式是有一个带有日志浏览器的Web前端.这与自定义C++ Web服务器后端进行了对话.此服务器需要在合理的时间内搜索日志.目前搜索几个日志需要很长时间.
编辑2:其中一些建议很好,但我必须重申,我无法整合另一个应用程序,这是合同的一部分.但是,为了回答一些问题,日志中的数据不同于接收到的医疗保健特定格式的消息或与这些格式相关的消息.我希望依赖索引,因为虽然重建索引可能需要一分钟,但搜索目前需要很长时间(我已经看到它需要2.5分钟).此外,在记录之前,很多数据都被丢弃了.除非启用某些调试日志记录选项,否则将忽略一半以上的日志消息.
搜索基本上是这样的:Web表单上的用户会看到最新消息的列表(在滚动时从磁盘流式传输,yay用于ajax),通常,他们希望搜索包含某些信息的消息它,可能是患者ID,或者他们发送的一些字符串,因此他们可以将字符串输入搜索.搜索以异步方式发送,并且自定义Web服务器一次性线性搜索1MB的日志以获得某些结果.当日志变大时,此过程可能需要很长时间.而这正是我想要优化的.