Bil*_*lam 36 logging amazon-s3 amazon-ec2
我的应用程序托管在Amazon EC2群集上.每个实例都将事件写入日志文件.我需要在每天结束时收集(和数据挖掘)这些日志.在中心位置收集这些日志的推荐方法是什么？我想到了几个选项,不知道要走哪条路:
Mar*_*els 23
我们在每个主机上使用Logstash(通过Puppet部署)在中央主机上收集日志事件并将其发送到消息队列(RabbitMQ,但可能是Redis).另一个Logstash实例检索事件,处理它们并将结果填充到ElasticSearch中.一个Kibana网络接口用于通过该数据库中进行搜索.
它功能强大,易于扩展且非常灵活.Logstash有大量的过滤器来处理来自各种输入的事件,并且可以输出到许多服务,ElasticSearch就是其中之一.我们目前每天从轻型硬件上的EC2实例发送大约1,200万个日志事件.在我们的设置中,从事件到可搜索的日志事件的延迟大约是1秒.
以下是有关此类设置的一些文档:https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html,以及带有一些实时数据的Kibana搜索界面演示.
smi*_*lli 10
这个问题现在已经过时(2014年12月),但在Google搜索此主题时仍然排名很高.
亚马逊现在提供了一种通过CloudWatch完成部分工作的方法.它具有模式匹配日志消息的能力,并根据应用程序中发生的事情触发警报.根据需要完成的数据挖掘的性质,可以使用其API来获取所需的聚合事件.见http://aws.amazon.com/blogs/aws/cloudwatch-log-service/
小智 7
我一直在使用Loggly,它似乎可以解决问题
它允许我通过tcp将我的所有日志发送到他们的服务,并有一个中央位置来监视我的所有日志文件,
它还允许我将我的日志文件存档到S3,这也很好
我没有尝试过这个目的,但亚马逊似乎建议使用SimpleDB:
http://aws.amazon.com/simpledb/usecases_logging/
下面是您可能会发现有用的包装 - 它说,你可以用它来捕捉标准输出/标准错误到SimpleDB的:
http://code.google.com/p/simpledb-appender/
我还没有实现它，但我遇到了 Facebook Scribe，这似乎是个好主意。 https://github.com/facebookarchive/scribe
在我开始之前，我一直在做你提到的#1 - 我有一个 cron 作业，它使用 sftp 来提取文件。我选择这个是因为即使我做了#2，我也遇到过 ec2 机器崩溃的情况，而且我最终还是不得不删除日志文件。