AWS elasticsearch可用区域感知和副本

Question

我对AWS elasticsearch可用区域感知和副本有一些疑问:

1. 根据我的理解,如果区域/节点发生故障,如果在节点之间复制了分片,则群集将能够完全恢复,并且我将在每个区域中拥有整个数据副本,这是正确的吗？

2. 根据AWS elasticsearch文档,我必须使用Amazon elasticsearch API跨可用区中的节点复制Amazon elasticsearch集群的数据.但我找不到通过Amazon elasticsearch API配置副本的方法,所以我想通过Elastic API,对吧？

3. 在同一区域sa-east1中的两个可用区域之间进行集群节点分配的最佳做法是什么,至少在新环境的开始时,有多少专用主实例和数据节点应足以进行故障转移？2个专用主站和2个数据节点应该足以防止数据丢失和发生故障时的停机时间？我想应该为索引配置1个副本.我还想到每个索引有2-3个专用主节点和3个数据节点以及2个副本.

4. AWS elasticsearch中没有设置文件,更改副本数量的唯一方法是通过弹性API,但我无法找到更改默认设置的方法,当新索引创建副本分片数为1时,它是默认值,有没有办法更改每个新索引的默认设置？

像这样的东西只会改变当前的索引.

curl -XPUT 'https://search-aa1-a3qlyghdz2i6wszffnv4iz5cyi.sa-east-1.es.amazonaws.com/_all/_settings' -d '
{
    "index" : {
        "number_of_replicas" : 2
    }
}'

http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-managedomains.html

感谢您提供任何帮助 !

Answer 1

以下是您的问题的一些答案.

完全披露,首先,我是一名Elastic员工,并在Found团队工作.

根据我的理解,如果区域/节点发生故障,如果在节点之间复制了分片,则群集将能够完全恢复,并且我将在每个区域中拥有整个数据副本,这是正确的吗？

技术上是的.使用分片复制副本时,写入分片0的任何数据都将复制到副本0,副本0应位于不同区域的辅助节点上.

请注意,AWS ES每天只会对您的数据进行一次快照.您可以随时手动拍摄快照.在发现它每30分钟配置一次.

根据AWS elasticsearch文档,我必须使用Amazon elasticsearch API跨可用区中的节点复制Amazon elasticsearch集群的数据.但我找不到通过Amazon elasticsearch API配置副本的方法,所以我想通过Elastic API,对吧？

是的,我不是100%确定AWS ES API的工作原理,但文档表明所有副本都必须通过AWS ES API而不是ES API进行配置.

如果您手动管理Elasticsearch集群,则可以使用ES API https://www.elastic.co/guide/en/elasticsearch/guide/current/replica-shards.html完成配置副本,并且有区域感知设置https://www.elastic.co/guide/en/elasticsearch/reference/current/allocation-awareness.html.

在"发现"中,通过指示区域以及您希望使用的可用区域来创建群集时,这一切都已为您配置.Found允许您直接通过控制台增加或减少可用区的数量.

在同一区域sa-east1中的两个可用区域之间进行集群节点分配的最佳做法是什么,至少在新环境的开始时,有多少专用主实例和数据节点应足以进行故障转移？2个专用主站和2个数据节点应该足以防止数据丢失和发生故障时的停机时间？我想应该为索引配置1个副本.我还想到每个索引有2-3个专用主节点和3个数据节点以及2个副本.

如果容纳主节点的AZ出现故障,则在2可用区配置中使用单个主节点仍会使您失败.AWS文档(http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-createupdatedomains.html#es-createdomains-configure-cluster)建议奇数个主节点,以帮助避免分裂 -大脑,你想要复制数据节点的负载能力.所以类似3个主节点(每个AZ 1个,额外1个用于帮助选举)和4个数据节点(每个AZ 2个),至少有1个副本.

话虽如此,发现这一切都得到了解决.例如,如果在SA-East-1中设置HA群集,Found将在每个AZ(具有副本)和主节点中设置2个数据节点,并且选择由Found基础结构处理,该基础结构也在两个区域中进行管理.这可以防止由于网络延迟/问题和总DC故障导致的裂脑.有关更多信息,请参阅https://www.elastic.co/blog/found-elasticsearch-in-production#networking.

AWS elasticsearch中没有设置文件,更改副本数量的唯一方法是通过弹性API,但我无法找到更改默认设置的方法,当新索引创建副本分片数为1时,它是默认值,有没有办法更改每个新索引的默认设置？

Elastic推荐的默认值是1个副本.要使用1个以上的副本,您需要了解https://www.elastic.co/guide/en/elasticsearch/guide/current/replica-shards.html#_balancing_load_with_replicas的原因.

索引模板可能有助于您当前的情况,您可以将模板中所需的默认值设置为应用于任何未来的指标https://www.elastic.co/guide/en/elasticsearch/guide/current/index-templates. HTML

如果您想了解有关Elastic的Found产品的更多信息,请访问https://www.elastic.co/found和https://www.elastic.co/found-elasticsearch-as-a-service-with-alerts