elasticsearch es_rejected_execution_exception

Question

我正在尝试索引一个有 50,000 条日志的 12mb 日志文件。索引大约 30,000 条日志后，出现以下错误

[2018-04-17T05:52:48,254][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of org.elasticsearch.transport.TransportService$7@560f63a9 on EsThreadPoolExecutor[name = EC2AMAZ-1763048/bulk, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@7d6ae98b[Running, pool size = 2, active threads = 2, queued tasks = 200, completed tasks = 3834]]"})

但是，我浏览了文档和 elasticsearch 论坛，它们建议我增加 elasticsearch 批量队列的大小。我尝试使用 curl 但我无法做到这一点。

curl -XPUT localhost:9200/_cluster/settings -d '{"persistent" : {"threadpool.bulk.queue_size" : 100}}'

增加队列大小是个好选择吗？我无法增加硬件，因为我的数据较少。

我面临的错误是由于队列大小问题还是其他原因？如果使用队列大小如何更新elasticsearch.yml中的队列大小，在el​​asticsearch.yml中更新后是否需要重新启动es？

请告诉我。谢谢你的时间

Answer 1

一旦您的索引无法跟上索引请求 - elasticsearch 将它们排入 threadpool.bulk.queue 并在队列中的请求数量超过 threadpool.bulk.queue_size 时开始拒绝

考虑限制您的索引是个好主意。线程池大小默认值通常很好；虽然您可以增加它们，但您可能没有足够的可用资源（内存、CPU）。

此博文由elastic.co解释这个问题非常好。