如何确定我的elasticsearch服务器的内存要求

Question

我有一个场景,

具有大约1.4 TB数据的elasticsearch DB具有,

 _shards": {
     "total": 202,
     "successful": 101,
     "failed": 0
}

每个索引大小大约介于3 GB到30 GB之间,并且在不久的将来,预计每天会有30 GB的文件大小.

OS信息:

 NAME="Red Hat Enterprise Linux Server"
 VERSION="7.2 (Maipo)"
 ID="rhel"
 ID_LIKE="fedora"
 VERSION_ID="7.2"
 PRETTY_NAME="Red Hat Enterprise Linux Server 7.2 (Maipo)"

系统有32 GB的RAM,文件系统是2TB(1.4TB Utilised).我为elasticsearch服务器配置了最多15 GB.但这还不足以让我查询这个数据库.服务器挂起以在服务器上发出单个查询.

我将在此服务器的文件系统中包含1TB,以便总可用文件系统大小为3TB.我还计划将内存增加到128GB,这是一个近似估计.

有人可以帮我计算如何确定服务器同时响应至少50个请求所需的最小RAM吗？

如果您可以建议任何工具/配方来分析此要求,将不胜感激.如果您能给我任何其他带数字的场景,那么我也可以使用它来确定我的资源需求.

Answer 1

您将需要使用多个节点进行扩展以保持效率。Elasticsearch 的每节点内存最佳容量为 64GB，其中 32GB 为 ES 保留。

https://www.elastic.co/guide/en/elasticsearch/guide/current/hardware.html#_memory了解更多详细信息。如果您正在使用 Elasticsearch 来处理严肃的事情，这本书非常值得一读