将日志从 ECS Fargate 发送到 Elasticsearch 的最佳方法

Question

我们在 AWS ECS Fargate 中设置了多个运行 NodeJS 服务（node:11-alpine docker image）的容器。

我们已经有一个正在运行的 ElasticSearch 实例从非 Fargate 应用程序收集日志。我想将 Fargate 容器中的日志传递到这个 ElasticSearch 实例中，但我很难弄清楚什么是最好的方法。

1）似乎一种方法是从 Cloudwatch --> Lambda --> ElasticSearch 流式传输日志。这似乎有点矫枉过正 - 没有其他方法可以做到这一点吗？

2）我希望我可以运行一个可以从容器收集日志的 Logstash docker 实例，但我不确定在运行 Fargate 时这是否可行？

3）我应该在每个容器上安装类似 FileBeat 的东西并让它发送日志吗？

任何帮助表示赞赏。

Answer 1

1）似乎一种方法是从 Cloudwatch --> Lambda --> ElasticSearch 流式传输日志。这似乎有点矫枉过正 - 没有其他方法可以做到这一点吗？

如果您正在寻找基于 AWS 的托管解决方案，那就是正确的方法。您实际上并不需要编写 Lambda 函数，AWS 会为您完成它，这似乎并不过分，因为这是一种更易于管理且更面向 AWS 的方法。此外，该解决方案的用途与 Logstash 相同。

2）我希望我可以运行一个可以从容器收集日志的 Logstash docker 实例，但我不确定在运行 Fargate 时这是否可行？

是的，这是可能的。

3）我应该在每个容器上安装类似 FileBeat 的东西并让它发送日志吗？

您可以随意使用 FileBeat、Fluentd、FunctionBeat 或 Logstash。

注意：如果您正在考虑运行自己的 Logstash 容器，请不要启用 CloudWatch 日志记录，因为您也不会使用它。但我建议为此使用基于 AWS 的解决方案。