Apache Spark独立模式:核心数量

Question

我试图了解Spark内部的基础知识和用于在本地模式下提交应用程序的Spark文档说spark-submit --master:

local [K]使用K工作线程在本地运行Spark(理想情况下,将其设置为计算机上的核心数).

local [*]使用与计算机上的逻辑核心一样多的工作线程在本地运行Spark.

由于所有数据都存储在单个本地计算机上,因此不会受益于RDDs 上的分布式操作.

当Spark使用多个逻辑核心时,它如何受益以及内部正在发生什么？

Answer 1

系统将分配额外的线程来处理数据.尽管仅限于一台机器,它仍然可以利用现代服务器中可用的高度并行性.

如果你有一个合理大小的数据集,比如说有十几个分区,你可以测量使用local [1] vs local [n]所需的时间(其中n是你机器中的核心数).您还可以看到机器利用率的差异.如果您只有一个核心指定使用,它将只使用100%的一个核心(加上一些额外的垃圾收集).如果你有4个核心,并指定local [4],它将使用400%的核心(4个核心).并且可以显着缩短执行时间(尽管通常不会缩短4倍).