如何在不使用spark-submit的情况下将java程序中的spark作业提交到独立的spark集群？

Question

我使用spark来执行一些计算但是希望它从java应用程序提交.当使用spark-submit脚本提交时,它正常工作.有人试过这样做吗？

谢谢.

Answer 1

不要忘记将包含代码的胖JAR添加到上下文中.

val conf = new SparkConf()
   .setMaster(...)
   .setAppName(...)
   .setJars("/path/to/code.jar")
val sc = new SparkContext(conf)