Spark Executors - 它们是 Java 进程吗？

Question

我是新来的火花。当我尝试在客户端模式下使用 3 个执行程序运行 spark-submit 时，我希望在执行时显示 3 个 java 进程（因为有 3 个执行程序）ps -ef

$SPARK_HOME/bin/spark-submit --num-executors 3 --class AverageCalculation --master local[1] /home/customer/SimpleETL/target/SimpleETL-0.1.jar hdfs://node1:9000/home/customer/SimpleETL/standard_input.csv

但是，我没有看到 3 个 Java 进程。我的理解是每个 executor 进程都是一个 java 进程。请指教。谢谢。

Answer 1

因为您使用local模式 ( --master local[1]) 执行程序设置不适用。在这种情况下，spark 仅启动一个 JVM 来模拟所有组件，并分配local定义 (1) 中指定的线程数作为执行程序线程。

在其他模式下，执行器是单独的 JVM 实例。