使用 Filebeat 和 Logstash 推送日志文件到 Elasticsearch 的区别

Question

我正在尝试使用 ELK 来可视化我的日志文件。我尝试了不同的设置：

1. Logstash 文件输入插件https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html
2. Logstash Beats 输入插件https://www.elastic.co/guide/en/logstash/current/plugins-inputs-beats.html带有 Filebeat Logstash 输出https://www.elastic.co/guide/en/beats/filebeat /current/logstash-output.html
3. Filebeat Elasticsearch 输出https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html

有人可以列出他们的差异以及何时使用哪种设置？如果不是这里，请把我指向正确的地方，比如超级用户或 DevOp 或服务器故障。

Answer 1

1) 要使用 logstashfile输入，您需要在要收集日志的机器上运行一个 logstash 实例，如果日志在您已经运行 logstash 的同一台机器上，这不是问题，但如果日志在远程机器，并不总是推荐使用 logstash 实例，因为它需要比 filebeat 更多的资源。

2 和 3）为了在远程机器上收集日志，推荐使用 filebeat，因为它比 logstash 实例需要更少的资源，如果您想解析日志、添加或删除字段或对数据进行一些丰富，则可以使用 logstash 输出，如果你不需要做任何类似的事情，你可以使用elasticsearch输出并将数据直接发送到elasticsearch。

这是主要区别，如果您的日志在运行logstash的同一台机器上，您可以使用file输入，如果您需要从远程机器收集日志，您可以使用filebeat并将其发送到logstash对您的数据进行转换，或者如果您不需要对数据进行转换，则直接发送到 elasticsearch。

使用 filebeat 的另一个优点，即使在 logstash 机器上，是如果你的 logstash 实例关闭，你不会丢失任何日志，filebeat 会重新发送事件，使用file输入你可能会在某些情况下丢失事件。