读取的值不是org.apache.spark.SparkContext的成员

Question

scala的版本是2.11.8；jdk是1.8; 火花是2.0.2

我尝试在spark apache的官方站点上运行LDA模型的示例，从以下语句中收到错误消息：

val dataset = spark.read.format("libsvm")
  .load("data/libsvm_data.txt")

错误消息是：

错误：读取的（49，25）值不是org.apache.spark.SparkContext的成员val数据集= spark.read.format（“ libsvm”）^

我不知道该怎么解决。

Answer 1

就像你看起来正在试图调用read上SparkContext，而不是，SQLContext或SparkSession：

// New 2.0.+ API: create SparkSession and use it for all purposes:
val session = SparkSession.builder().appName("test").master("local").getOrCreate()
session.read.load("/file") // OK

// Old <= 1.6.* API: create SparkContext, then create a SQLContext for DataFrame API usage:
val sc = new SparkContext("local", "test") // used for RDD operations only
val sqlContext = new SQLContext(sc) // used for DataFrame / DataSet APIs

sqlContext.read.load("/file") // OK
sc.read.load("/file") // NOT OK