FileBeat直接到ELS还是通过LogStash？

Question

我们正在安装ELS和Kibana用于日志聚合/分析.第一个使用它的系统是绿地,因此我们从构成我们系统的服务输出结构化日志.鉴于我们不需要在日志中添加结构,我计划使用FileBeat将日志直接发送到ELS而不使用LogStash.这是一个明智的选择还是LogStash除了我们可能需要的解析之外还有价值？如果我们确实使用LogStash,我可以使用它来收集日志文件,还是应该使用FileBeat将日志抽取到LogStash？

Answer 1

如果您需要聚合来自许多服务器的日志并应用一些常见的转换并过滤到您的事件,Logstash非常有用.

如果您的日志事件已经结构化并且您可以直接索引它们,那么您肯定可以将Filebeat直接发送给ES.如果ES关闭(例如,为了维护),Filebeat将重试,直到它可以成功发送事件.

Answer 2

这是一个明智的选择还是 LogStash 是否具有超出我们可能需要的解析的价值？

在您的情况下，决定是否使用 Logstash 取决于您是否需要在将日志插入 ES 之前对其进行处理。

除了解析（这是你的使用情况显然没用），你可以使用Logstash与添加位置geoip的过滤器，解析与日期日期过滤器，用另一个替换词，用哈希替换场等...

您可以在此处查看可用的过滤器。

如果我们确实使用 LogStash，我可以使用它来收集日志文件，还是应该使用 FileBeat 将日志泵送到 LogStash？

如果您需要 Logstash 并且有能力在您的日志所在的机器上运行它，您可以通过使用文件输入来避免使用 Filebeat。

但请记住，Logstash，尤其是用于解析时，会消耗大量资源。最好将它放在另一台机器上并使用 Filebeat 将日志泵送到 Logstash。