Logstash vs Rsyslog用于日志文件聚合

Question

我正在研究从CentOs 6.x服务器集中日志文件聚合的解决方案.在安装Elasticsearch/Logstash/Kibana(ELK)堆栈之后,我遇到了一个Rsyslog omelasticsearch插件,该插件可以以logstash格式从Rsyslog向Elasticsearch发送消息,并开始问自己为什么需要Logstash.

Logstash有许多不同的输入插件,包括接受Rsyslog消息的插件.是否有理由将Logstash用于我需要从多个服务器收集日志文件内容的用例？此外,将消息从Rsyslog发送到Logstash是否有好处,而不是将它们直接发送到Elasticsearch？

Answer 1

如果我需要rsyslog没有的东西，我会在中间使用Logstash。例如，从IP地址获取GeoIP。

另一方面，如果我需要获取在Elasticsearch中建立索引的syslog或文件内容，则可以直接使用rsyslog。它可以进行缓冲（磁盘+内存），过滤，您可以选择文档的外观（例如，可以输入文本的严谨程度而不是数字），并且可以解析非结构化数据。但是主要优势是性能，rsyslog专注于该性能。以下是有关Logstash，rsyslog和Elasticsearch的一些数字（以及技巧和窍门）的演示：http : //blog.sematext.com/2015/05/18/tuning-elasticsearch-indexing-pipeline-for-logs/