Spark MiniCluster

Question

是否有可能完全以编程方式创建"Spark MiniCluster"以从Scala程序中运行小型Spark应用程序？我不想启动Spark shell,而是在我的程序的Main中完全制作一个"MiniCluster".

Answer 1

您可以创建应用程序并使用本地主服务器以独立模式启动Spark:

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object LocalApp {
  def main(args: Array[String]) {
    val sc = new SparkContext("local[*]", "local-app", new SparkConf())
    // Do whatever you need
    sc.stop()
  }
}

您可以使用任何受支持的语言执行完全相同的操作.