为什么Spark执行程序核心与Spark Web UI中的活动任务不相等？

Question

我正在使用Spark 2.3节俭服务器进行临时Sql查询。我的spark参数在spark-defaults.conf文件中设置如下：

spark.executor.memory 24G
spark.executor.cores 40
spark.executor.instances 3

但是，当我检查spark web ui时，如图所示，spark核心与活动任务并不相等：

活动任务的数量如何大于分配的核心？有任何想法吗？谢谢！

Answer 1

我也见过同样的事情。我不是 100% 确定，但我相信这是执行器上的任务线程池和指标报告代码之间的竞争条件。

如果单击线程转储，您将看到正确的线程数。然而，如果尝试 50 次（运气好的话），您将看到一个额外的任务线程正处于 TIMED_WAITING 状态。