具有多个执行程序的Spark独立配置

Question

我正在尝试设置独立的Spark 2.0服务器以并行处理分析功能。为此，我想要一个有多个执行程序的工人。

我正在使用：

这仅仅是出于概念证明的目的，但是我想拥有8个执行器，每个核心一个。

我尝试关注该主题的其他主题，但由于某些原因，它对我不起作用。IE： Spark独立编号执行器/核心控制

我的配置如下：

conf \ spark-defaults.conf

spark.cores.max = 8
spark.executor.cores = 1

我也尝试将我的spark-env.sh文件更改为无效。相反，发生的事情是它表明我的1个工作人员只有1个执行程序。如下所示，它仍然显示带有1个执行器和8个内核的独立执行器。

Answer 1

我相信您混合了本地和独立模式：

本地模式是一种开发工具，其中所有进程都在单个JVM中执行。应用程序是在本地模式通过设置师傅开始local，local[*]或local[n]。spark.executor.cores并且spark.executor.cores不适用于本地模式，因为只有一个嵌入式执行程序。
独立模式需要独立的Spark集群。它需要一个主节点（可以使用SPARK_HOME/sbin/start-master.sh脚本启动）和至少一个工作节点（可以使用SPARK_HOME/sbin/start-slave.sh脚本启动）。

SparkConf应该使用主节点地址创建（spark://host:port）。