默认情况下 Spark 本地模式采用的核心数

Nan*_*ore 2 apache-spark

当 spark 在本地模式下运行时,执行程序将使用多少内核,如果我没有在命令中提到内核数,如下所示

./start-shell --master local
Run Code Online (Sandbox Code Playgroud)

Nan*_*ore 9

我得到了我的问题的答案,我只是想把它放在这里。如果用户只提到“本地”而没有指定任何内核数,则只需要 1 个内核。

如果是“local[N]”,则占用 N 个内核 如果它的“local[*]”,则占用所有可用内核。