Spark代码可以在没有spark-submit的集群上运行吗？

Question

我想开发一个Scala应用程序,它连接一个master并运行一段代码.我想在不使用spark-submit的情况下实现这一点.这可能吗？特别是我想知道以下代码是否可以从我的机器运行并连接到集群:

val conf = new SparkConf()
  .setAppName("Meisam")
  .setMaster("yarn-client")

val sc = new SparkContext(conf)

val sqlContext = new SQLContext(sc)
val df = sqlContext.sql("SELECT * FROM myTable")

...

Answer 1

添加一个conf

val conf = new SparkConf() .setAppName("Meisam") .setMaster("yarn-client") .set("spark.driver.host", "127.0.0.1");

Answer 2

是的，有可能并且基本上您所做的就是使任务在客户端部署模式下（在驱动程序在运行应用程序的计算机上运行）在YARN群集上运行的全部工作。

spark-submit帮助您使代码免于SparkConf正常执行所需的一些设置，例如主URL。如果您的代码没有底层细节，则可以将Spark应用程序部署在任何Spark群集（YARN，Mesos，Spark Standalone和本地）上，而无需重新编译它们。