即使我的索引中的数据不多,也会超出高磁盘水印

Question

我正在本地机器上使用elasticsearch.数据目录的大小只有37MB,但是当我检查日志时,我可以看到:

[2015-05-17 21:31:12,905] [警告] [集群] [磁盘]高磁盘水印[10%]已超过[h9P4UqnCR5SrXxwZKpQ2LQ] [Chrome]免费:5.7gb [6.1%] ,碎片将从此节点重新定位

对可能出错的东西感到很困惑.有帮助吗？

Answer 1

从索引分片分配:

... watermark.high控制高水印.默认为90%,这意味着如果节点磁盘使用率超过90%,ES将尝试将分片重定位到另一个节点.

实际指数的大小无关紧要; 它是设备上留下的自由空间.

如果默认值不适合您,您需要更改它们.

Answer 2

要解决其中的问题，日志记录为：

[ytI5oTyYSsCVfrB6CWFL1g] [ytI5oTy] [/ var / lib / elasticsearch / nodes / 0]上超出磁盘高水位[90％]的自由空间：552.2mb [4.3％]，分片将被移离此节点

您可以通过执行以下curl请求来更新阈值限制：

curl -XPUT "http://localhost:9200/_cluster/settings" -d'
{
  "persistent": {
    "cluster": {
      "routing": {
        "allocation.disk.threshold_enabled": false
      }
    }
  }
}'

Answer 3

这个来自Elasticsearch 6.4文档的经过稍微修改的curl命令 对我有用：

curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
  "transient": {
    "cluster.routing.allocation.disk.watermark.low": "2gb",
    "cluster.routing.allocation.disk.watermark.high": "1gb",
    "cluster.routing.allocation.disk.watermark.flood_stage": "500mb",
    "cluster.info.update.interval": "1m"
  }
}
'

如果curl -XPUT命令成功，那么您应该在Elasticsearch终端窗口中看到如下日志：

[2018-08-24T07:16:05,584][INFO ][o.e.c.s.ClusterSettings  ] [bhjM1bz] updating [cluster.routing.allocation.disk.watermark.low] from [85%] to [2gb]
[2018-08-24T07:16:05,585][INFO ][o.e.c.s.ClusterSettings  ] [bhjM1bz] updating [cluster.routing.allocation.disk.watermark.high] from [90%] to [1gb]
[2018-08-24T07:16:05,585][INFO ][o.e.c.s.ClusterSettings  ] [bhjM1bz] updating [cluster.routing.allocation.disk.watermark.flood_stage] from [95%] to [500mb]
[2018-08-24T07:16:05,585][INFO ][o.e.c.s.ClusterSettings  ] [bhjM1bz] updating [cluster.info.update.interval] from [30s] to [1m]

https://www.elastic.co/guide/zh-CN/elasticsearch/reference/current/disk-allocator.html