无法解析主URL

Question

如果有人回答我的问题,我将感激不尽.我的部分代码是:

public static void main(String[] args) {
    // TODO Auto-generated method stub
    SparkConf conf= new SparkConf().setAppName("AirPollution").setMaster("yarn");
    SparkContext context=new SparkContext(conf);

我该如何解决这个错误？

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'yarn'

Answer 1

我找到了灵魂.任何有这个问题的机构都应该将spark-yarn.jar添加到构建路径中.重要的问题是,如果您使用SPARK 2+,它应该是最后一个版本.例如spark-yarn2.11对我有用

Answer 2

根据Master中最近的Spark代码,这应该可行.默认情况下,如果未设置spark.submit.deployMode配置参数,Spark将使用客户端部署模式.

但是,这在Spark 1.6.x中不起作用.如果使用Spark 1.6.x,则必须将主URL明确指定为"yarn-cluster"或"yarn-client".

考虑也使用,spark-submit因为它将帮助您避免在代码中设置一些配置参数(例如主URL).因此,您将能够使用其他集群管理器而无需重新编译程序.