kubernetes 集群上的 Elasticsearch 集群。进还是出？

Question

我目前正在致力于在 K8s 中部署 elasticsearchrh 集群。谁能帮助我了解在 K8s 集群内部或外部部署 ES 集群的优缺点是什么？提前致谢！

Answer 1

一个重要的优点是数据摄取。如果您的 ES 集群位于 k8s 集群内，则数据摄取会更快。

然而，一个很大的缺点是资源。ES 会比 google-chrome 吃掉你的内存更严重地吃掉你的资源。我的意思是，很多。

而且维护它可能相当麻烦。不确定您的用例，但如果它是日志记录（在大多数情况下），通常云提供商有自己的解决方案。

如果没有，那么：

我建议在集群中为 ES 配备专用节点，否则如果出现峰值并开始使用大量节点资源，可能会影响其他 pod。

还要确保熟悉并优化您的冷-温-热数据，这将为您节省大量时间和资源。

编辑

我没有强调这种更快的数据摄取有多重要，因此将其部署在集群内似乎不是一个足够好的理由。底线非常明显：网络延迟和带宽。

这些东西确实可以累加起来（从所有这些 Pod 中获取所有日志，然后扩展这些相同的 Pod，然后扩展集群，然后再次......），因此每个单元都很重要。如果您的虚拟机不会受到这两个问题的影响（意味着它们与集群中的任何其他节点具有相同的延迟），我认为这不会产生巨大的差异。

另一方面，我认为将它们从集群中分离出来并没有太大的好处。无论如何，它是您的基础设施的一部分。

如果明天您决定切换到 AWS 或 GKE 怎么办？您将必须更改部署，重新设置整个过程。另一方面，如果它已经是您集群的一部分，则kubectl apply只需

我还可以猜测您会尝试设置 ELK 堆栈。如果时间和意愿允许，请给Fluentd一个机会（它与所有 Logstash 客户端 100% 兼容，但更轻量级）。