Spark YARN 集群模式出现此错误“无法找到或加载主类 org.apache.spark.deploy.yarn.ApplicationMaster”

Question

我让这个作业在 YARN 客户端模式下运行良好，但是在集群模式下我收到以下错误。

日志内容：错误：无法找到或加载主类org.apache.spark.deploy.yarn.ApplicationMaster LogType结束：stderr

我还没有设置spark.yarn.jars或spark.yarn.archive。然而在跟踪中，我确实看到 Spark-Yarn jar 被上传。这里还需要什么额外的设置吗？

16/11/01 10:49:49 信息yarn.Client：上传资源文件：/etc/security/keytabs/spark.keytab -> hdfs://beixvz579:8020/user/sifsuser/.sparkStaging/application_1477668405073_0026/spark。 keytab 16/11/01 10:49:50 信息yarn.Client：上传资源文件：/home/sifsuser/spark200/jars/spark-yarn_2.11-2.0.0.jar -> hdfs://beixvz579:8020/ user/sifsuser/.sparkStaging/application_1477668405073_0026/spark-yarn_2.11-2.0.0.jar 16/11/01 10:49:50 信息yarn.Client：上传资源文件：/home/sifsuser/lib/sparkprogs.jar - > hdfs://beixvz579:8020/user/sifsuser/.sparkStaging/application_1477668405073_0026/sparkprogs.jar

Answer 1

jar是spark-yarn_2.11-2.4.0.jar（我的版本），位置是$SPARK_HOME/jars/

第一步：（将其添加到spark-default.conf中）

 spark.yarn.jars hdfs://hadoop-node1:9000/spark/jars/*

第二步：

 hadoop fs -put $SPARK_HOME/jars/*  hdfs://hadoop-node1:9000/spark/jars/