在AWS EMR集群上使用SparkLauncher时缺少SPARK_HOME

Question

我在Spark 2.0.0中使用EMR 5.0。我正在尝试使用org.apache.spark.launcher.SparkLauncher从Scala spark应用程序运行子spark应用程序

我需要使用setSparkHome设置SPARK_HOME：

 var handle = new SparkLauncher()
    .setAppResource("s3://my-bucket/python_code.py")
    .setAppName("PythonAPP")
    .setMaster("spark://" + sparkSession.conf.get("spark.driver.host") +":"+ sparkSession.conf.get("spark.driver.port"))
    .setVerbose(true)
    .setConf(SparkLauncher.EXECUTOR_CORES, "1")
    .setSparkHome("/srv/spark") // not working
    .setDeployMode("client")
    .startApplication(
      new SparkAppHandle.Listener() {

        override def infoChanged(hndl: SparkAppHandle): Unit = {
          System.out.println(hndl.getState() + " new  state !")
        }

        override def stateChanged(hndl: SparkAppHandle): Unit = {
          System.out.println(hndl.getState() + "    new  state !")
        }
      })

在哪里可以找到我的Spark Home的适当路径？该集群由1个主服务器，1个核心服务器和1个任务服务器构建。

谢谢！

Answer 1

从emr-4.0.0开始，EMR上的所有应用程序都在/ usr / lib中。Spark在/ usr / lib / spark中。