小编lou*_*lau的帖子

为什么Spark执行程序核心与Spark Web UI中的活动任务不相等?

我正在使用Spark 2.3节俭服务器进行临时Sql查询。我的spark参数在spark-defaults.conf文件中设置如下:

spark.executor.memory 24G
spark.executor.cores 40
spark.executor.instances 3
Run Code Online (Sandbox Code Playgroud)

但是,当我检查spark web ui时,如图所示,spark核心与活动任务并不相等: 在此处输入图片说明

活动任务的数量如何大于分配的核心?有任何想法吗?谢谢!

apache-spark spark-thriftserver

6
推荐指数
1
解决办法
915
查看次数

标签 统计

apache-spark ×1

spark-thriftserver ×1