相关疑难解决方法(0)

RemoteTransportException [[死亡] [INET [/172.18.0.9:9300] [散装/碎片]]; 嵌套:EsRejectedExecutionException [在org.elasticsearch.action.support.replication.TransportShardReplicationOperationAction$AsyncShardOperationAction$1@12ae9af]上被拒绝执行(队列容量50);

这是否意味着我一次在一个批量中进行太多操作,或连续出现太多批量,或者是什么？有没有我应该增加的设置或我应该做的不同的事情？

一个帖子暗示"我认为你需要增加你的'threadpool.bulk.queue_size'(以及可能'threadpool.index.queue_size')设置,因为最近的默认设置." 但是,我不想在不了解故障的情况下任意增加设置.

我有一个应用程序，我在其中读取 csv 文件并进行一些转换，然后将它们从 spark 本身推送到弹性搜索。像这样

input.write.format("org.elasticsearch.spark.sql")
              .mode(SaveMode.Append)
              .option("es.resource", "{date}/" + type).save()

我有几个节点，在每个节点中，我运行 5-6 个spark-submit推送到elasticsearch

我经常收到错误

Could not write all entries [13/128] (Maybe ES was overloaded?). Error sample (first [5] error messages):
        rejected execution of org.elasticsearch.transport.TransportService$7@32e6f8f8 on EsThreadPoolExecutor[bulk, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@4448a084[Running, pool size = 4, active threads = 4, queued tasks = 200, completed tasks = 451515]]

我的 Elasticsearch 集群有以下统计信息 -

Nodes - 9 (1TB space,
Ram >= 15GB ) More than 8 cores per node …