相关疑难解决方法(0)

在Spark 0.9.0上运行作业会引发错误

我安装了Apache Spark 0.9.0群集,我正在尝试部署从HDFS读取文件的代码.这段代码抛出警告,最终失败了.这是代码

/**
 * running the code would fail 
 * with a warning 
 * Initial job has not accepted any resources; check your cluster UI to ensure that 
 * workers are registered and have sufficient memory
 */

object Main extends App {
    val sconf = new SparkConf()
    .setMaster("spark://labscs1:7077")
    .setAppName("spark scala")
    val sctx = new SparkContext(sconf)
    sctx.parallelize(1 to 100).count
}
Run Code Online (Sandbox Code Playgroud)

以下是警告消息

初始工作没有接受任何资源; 检查群集UI以确保工作人员已注册并具有足够的内存

如何摆脱这个或我错过了一些配置.

java scala hdfs apache-spark

13
推荐指数
2
解决办法
8712
查看次数

标签 统计

apache-spark ×1

hdfs ×1

java ×1

scala ×1