分片和副本弹性搜索

Question

假设在创建索引时我没有设置任何副本，如果我使用更新设置 API 进行更新并将副本状态更改为 1。如果我有 2 个节点，则应在第二个节点上创建副本，因为在主节点端副本将未创建，因为集群状态显示为黄色，即使我们将副本启用为 1，分片也未分配给 node2。

请分享为什么副本分片没有分配给 node2？

但是在集群启动节点上显示它们检测到并相互加入。

Answer 1

以下是弹性搜索的基本概念

安装 » 基本概念 有几个概念是 Elasticsearch 的核心。从一开始就理解这些概念将极大地帮助简化学习过程。

Near Realtime (NRT) Elasticsearch 是一个近乎实时的搜索平台。这意味着从索引文档到可搜索之间存在轻微的延迟（通常为一秒）。

集群 集群是一个或多个节点（服务器）的集合，它们共同保存您的整个数据并提供跨所有节点的联合索引和搜索功能。集群由唯一名称标识，默认情况下为“elasticsearch”。此名称很重要，因为如果节点设置为按名称加入集群，则该节点只能是集群的一部分。

确保不要在不同环境中重复使用相同的集群名称，否则最终可能会有节点加入错误的集群。例如，您可以将 logging-dev、logging-stage 和 logging-prod 用于开发、暂存和生产集群。

请注意，集群中只有一个节点是有效且完全没问题的。此外，您还可以拥有多个独立的集群，每个集群都有自己唯一的集群名称。

节点 节点是单个服务器，它是集群的一部分，存储您的数据，并参与集群的索引和搜索功能。就像集群一样，节点由名称标识，默认情况下，该名称是在启动时分配给节点的随机通用唯一标识符 (UUID)。如果您不想要默认值，您可以定义任何您想要的节点名称。此名称对于管理目的很重要，您希望识别网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。

可以将节点配置为通过集群名称加入特定集群。默认情况下，每个节点都设置为加入一个名为 elasticsearch 的集群，这意味着如果您在网络上启动多个节点，并且假设它们可以相互发现，它们将自动形成并加入一个名为 elasticsearch 的集群。

在单个集群中，您可以拥有任意数量的节点。此外，如果您的网络上当前没有其他 Elasticsearch 节点正在运行，则默认情况下启动单个节点将形成一个名为 elasticsearch 的新单节点集群。

索引 索引是具有某些相似特征的文档的集合。例如，您可以有一个用于客户数据的索引、另一个用于产品目录的索引以及另一个用于订单数据的索引。索引由名称（必须全部小写）标识，在对其中的文档执行索引、搜索、更新和删除操作时，该名称用于引用索引。

在单个集群中，您可以定义任意数量的索引。

类型 在索引中，您可以定义一种或多种类型。类型是索引的逻辑类别/分区，其语义完全取决于您。通常，类型是为具有一组公共字段的文档定义的。例如，假设您运行一个博客平台并将所有数据存储在单个索引中。在此索引中，您可以为用户数据定义一种类型，为博客数据定义另一种类型，以及为评论数据定义另一种类型。

文档 文档是可以建立索引的基本信息单元。例如，您可以为单个客户创建一个文档，为单个产品创建另一个文档，以及为单个订单创建另一个文档。本文档以 JSON（JavaScript Object Notation）表示，这是一种普遍存在的互联网数据交换格式。

在索引/类型中，您可以存储任意数量的文档。请注意，尽管文档物理上位于索引中，但文档实际上必须被索引/分配给索引内的类型。

Shards & Replicas 一个索引可能会存储大量的数据，这些数据可能会超过单个节点的硬件限制。例如，占用 1TB 磁盘空间的 10 亿个文档的单个索引可能不适合单个节点的磁盘，或者可能太慢而无法单独处理来自单个节点的搜索请求。

为了解决这个问题，Elasticsearch 提供了将索引细分为多个称为分片的功能。创建索引时，您可以简单地定义所需的分片数量。每个分片本身就是一个功能齐全且独立的“索引”，可以托管在集群中的任何节点上。

分片很重要，主要有两个原因：

它允许您水平拆分/扩展您的内容量 它允许您跨分片（可能在多个节点上）分布和并行化操作，从而提高性能/吞吐量 分片的分布机制以及其文档如何聚合回搜索请求完全由 Elasticsearch 管理，并且对您作为用户是透明的。

在随时可能出现故障的网络/云环境中，如果分片/节点不知何故脱机或因任何原因消失，则具有故障转移机制非常有用并强烈建议使用。为此，Elasticsearch 允许您将索引分片的一个或多个副本制作成所谓的副本分片，或简称为副本。

复制之所以重要，主要有两个原因：

它在分片/节点发生故障时提供高可用性。出于这个原因，重要的是要注意副本分片永远不会与复制它的原始/主分片在同一节点上分配。它允许您扩展搜索量/吞吐量，因为搜索可以在所有副本上并行执行。总而言之，每个索引都可以拆分为多个分片。索引也可以复制零次（意味着没有副本）或多次。复制后，每个索引将具有主分片（从中复制的原始分片）和副本分片（主分片的副本）。可以在创建索引时为每个索引定义分片和副本的数量。创建索引后，您可以随时动态更改副本数，但事后无法更改分片数。

默认情况下，Elasticsearch 中的每个索引都分配了 5 个主分片和 1 个副本，这意味着如果您的集群中至少有两个节点，则您的索引将有 5 个主分片和另外 5 个副本分片（1 个完整副本），总共每个索引 10 个分片。

注意： 每个 Elasticsearch 分片都是一个 Lucene 索引。单个 Lucene 索引中可以包含的文档数量有上限。从 LUCENE-5843 开始，限制为 2,147,483,519 (= Integer.MAX_VALUE - 128) 个文档。您可以使用 _cat/shards api 监控分片大小。