小编osr*_*osr的帖子

Spark Executors - 它们是 Java 进程吗?

我是新来的火花。当我尝试在客户端模式下使用 3 个执行程序运行 spark-submit 时,我希望在执行时显示 3 个 java 进程(因为有 3 个执行程序)ps -ef

$SPARK_HOME/bin/spark-submit --num-executors 3 --class AverageCalculation --master local[1] /home/customer/SimpleETL/target/SimpleETL-0.1.jar hdfs://node1:9000/home/customer/SimpleETL/standard_input.csv
Run Code Online (Sandbox Code Playgroud)

但是,我没有看到 3 个 Java 进程。我的理解是每个 executor 进程都是一个 java 进程。请指教。谢谢。

apache-spark

1
推荐指数
1
解决办法
2031
查看次数

标签 统计

apache-spark ×1