有可能启动一个apache Spark节点的嵌入式实例吗？

Question

我想启动嵌入到我的Java应用程序中的独立Apache Spark集群的实例.我试图在他们的网站上找到一些文档,但还没看.

这可能吗？

Answer 1

您可以在本地模式下创建SparkContext,您只需要向SparkConf提供"local"作为sp​​ark主URL

val sparkConf = new SparkConf().
  setMaster("local[2]").
  setAppName("MySparkApp")

val sc = new SparkContext(sparkConf)

Answer 2

是的 - 您可以使用嵌入式方式使用Spark和"本地"主服务器.

SparkConf sparkConf = new SparkConf();//Create new spark config
sparkConf.setMaster("local[8]"); // local, using 8 cores (you can vary the number)
sparkConf.setAppName("MyApp");
SparkContext sc = new SparkContext(sparkConf);

这将在您的JVM中运行Spark.