我已经可以local从Eclipse IDE中提交spark作业(用Scala编写).但是,我想修改我的Spark上下文(在我的应用程序中),这样当我'运行'应用程序(在Eclipse中)时,作业将被发送到我的远程集群,使用Yarn作为资源管理器.
使用spark-submit,我可以成功将作业提交到群集:
spark-submit --class <main class> --master yarn-cluster <jar>
我想在IDE中实现相同的结果.我的sbt配置(应用程序根目录)看起来像:
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1"
libraryDependencies += "org.apache.spark" %% "spark-yarn" % "1.5.1" % "provided"
在我的应用程序内:
val conf = new SparkConf().setAppName("xxx").setMaster("yarn-cluster")
但是,我收到以下错误:
Detected yarn-cluster mode, but isn't running on a cluster. Deployment to YARN is not supported directly by SparkContext. Please use spark-submit.