错误：用户未初始化spark上下文

Question

记录错误：

测试成功
2018-08-20 04:52:15 INFO ApplicationMaster：54-最终应用程序状态：失败，exitCode：13 2018-08-20 04:52:15错误ApplicationMaster：91-未捕获的异常：java.lang.IllegalStateException：用户做了无法初始化spark上下文！在org.apache.spark.deploy.yarn.ApplicationMaster.org $ apache $ spark $ deploy $ yarn $ ApplicationMaster $$ runImpl（ApplicationMaster）上的org.apache.spark.deploy.yarn.ApplicationMaster.scala .scala：345），位于org.apache.spark.deploy.yarn.ApplicationMaster $$ anonfun $ run $ 2.apply $ mcV $ sp（ApplicationMaster.scala：260），位于org.apache.spark.deploy.yarn.ApplicationMaster $$在org.apache.spark.deploy.yarn的anonfun $ run $ 2.apply（ApplicationMaster.scala：260）在org.apache.spark.dearn的anonfun $ run $ 2.apply（ApplicationMaster.scala：260）在org.apache.spark.deploy.yarn 。

在控制台上错误登录提交命令后：

2018年8月20日5点47分35秒INFO客户：54 -为application_1534690018301_0035申请报告（状态：接受）
2018年8月20日五时47分36秒INFO客户：54 -为application_1534690018301_0035申请报告（状态：已接受）
2018- 08-20 05:47:37 INFO客户端：54-application_1534690018301_0035的应用报告（状态：FAILED）
2018-08-20 05:47:37 INFO客户端：54-客户端令牌：N / A诊断：应用程序application_1534690018301_0035失败2次由于AM容器appattempt_1534690018301_0035_000002退出，退出代码为：13失败。诊断：[2018-08-20 05：47：36.454]来自容器启动的异常。容器编号：container_1534690018301_0035_02_000001退出代码：13

我的代码：

val sparkConf = new SparkConf().setAppName("Gathering Data")            
val sc = new SparkContext(sparkConf)

提交命令：

spark-submit --class spark_basic.Test_Local --master yarn --deploy-mode cluster /home/IdeaProjects/target/Spark-1.0-SNAPSHOT.jar

说明：

我已经以psedo分发模式在hadoop上安装了spark。

spark-shell工作正常。我使用集群模式时唯一的问题。

我的代码也可以工作。我可以打印输出，但最终会出错。

Answer 1

如果代码中有将master设置为local的行，那么我猜想您的行。

SparkConf.setMaster("local[*]")

如果是这样，请尝试注释掉该行，然后重试，因为您将在命令中将master设置为yarn

/usr/cdh/current/spark-client/bin/spark-submit --class com.test.sparkApp --master yarn --deploy-mode cluster --num-executors 40 --executor-cores 4 --driver-memory 17g --executor-memory 22g --files /usr/cdh/current/spark-client/conf/hive-site.xml /home/user/sparkApp.jar