Spark:错误未找到值SC

Question

我刚开始使用Spark.我有安装了Spark的CDH5.但是,当我尝试使用sparkcontext时,它会给出如下错误

<console>:17: error: not found: value sc
       val distdata = sc.parallelize(data)

我已经研究过这个并发现错误:找不到:值sc

并试图用./spark-shell启动spark上下文.它给出了错误No such File or Directory

Answer 1

如果您在其确切目录中，或者您在其他地方spark-shell，./则可以从开始path/to/spark-shell。

此外，如果你正在运行一个脚本spark-submit，你需要初始化sc为SparkContext第一：

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)