对 Elastic Search 硬件的建议

Question

是否有支持 ElasticSearch 的硬件级别的良好指南？对 Lucene 或 Solr 的推荐是一个好的起点吗？我们正在考虑推出一个部署

• 2700 万份文档，8TB 数据
• 每天添加 30 万个文档

然后将其放大约 10 倍，以

• 2.7亿文档，80TB数据
• 添加 300 万个文档/天

这是一个奇怪的用例，其中查询将达到数千次/天，但响应时间需要保持足够低才能获得良好的 Ajaxy Web 应用体验。

Answer 1

有很多因素可以发挥作用，所以我认为没有很多通用指南。

您应该进行较小规模的评估，可能使用初始数据集的 1/5，以查看当您在设置中投放预期的索引和搜索负载时事情的表现。这将确保您了解您的数据将在搜索引擎中实际占用多少空间。对于 elasticsearch，取决于您是否存储源 json 以及如何分析字段以及它们是否被存储。

EC2 是一种无需大量硬件支出即可评估 elasticsearch 的合理方法。

对于基于集群的软件，如 elasticsearch，在保持集群较小与较大之间存在权衡。大型集群很好，因为当您丢失服务器时，需要重新分配的数据较少。更小的集群消耗更少的能量并且更容易维护。

我们运行一个包含 3500 万个文档的集群，总索引大小约为 300GB x 2，因为所有索引都被复制。为了支持这一点和大量的搜索，我们有 4 个节点，每个节点有 24 个内核、48GB 的​​ RAM 和 1TB 的存储空间，raid10 中有 10K 磁盘。我们最近增加了磁盘大小以确保我们有更多的空间。

对于您的情况，我建议使用更多 RAM 和更多磁盘。您可能可以在具有该搜索量的 CPU 上省钱。

低搜索量实际上会损害性能，因为缓存（使用的软件和操作系统磁盘的内部）不会被很好地加热。

希望这会有所帮助，保罗