Spark无法在纱线群集模式下运行

Question

我试图在纱线集群上执行我的代码

我正在使用的命令是

$SPARK_HOME/bin/spark-submit \
    --class "MyApp" \
    target/scala-2.10/my-application_2.10-1.0.jar \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 6g \
    --executor-memory 7g \
    <outputPath>

但是,我可以看到该程序仅在localhost上运行.

它能够从hdfs读取文件.

我在独立模式下尝试了这个,它工作正常.

请说明哪里出错了.

Answer 1

我正在使用 Hadoop2.4 和 Spark 1.1.0 。我能够让它在集群模式下运行。

为了解决这个问题，我们只需从所有从节点中删除所有配置文件。早些时候，我们在独立模式下运行，这导致在所有从站上重复配置。完成后，它会按预期在集群模式下运行。虽然性能达不到独立模式。

谢谢。