SparkSQL 数据帧错误：值显示不是 org.apache.spark.sql.DataFrameReader 的成员

Question

我是 Spark/Scala/Dataframes 的新手。我使用的是 Scala 2.10.5、Spark 1.6.0。我正在尝试加载一个 csv 文件，然后从中创建一个数据框。使用 scala shell，我按以下顺序执行以下操作。执行第 6 行后，我收到一条错误消息：

error: value show is not a member of org.apache.spark.sql.DataFrameReader

有人可以建议我可能缺少什么吗？我知道如果我使用 REPL（shell），我不需要导入 sparkcontext，所以 sc 将自动创建，但是任何想法我做错了什么？

1.import org.apache.spark.sql.SQLContext

2. import sqlContext.implicits._

3. val sqlContext = new SQLContext(sc)

4. val csvfile = "path_to_filename in hdfs...."

5. val df = sqlContext.read.format(csvfile).option("header", "true").option("inferSchema", "true")

6. df.show()

Answer 1

尝试这个：

val df = sqlContext.read.option("header", "true").option("inferSchema", "true").csv(csvfile)

sqlContext.read给你一个DataFrameReader, andoption和format都设置一些选项并给你一个DataFrameReader. 您需要先调用一种为您提供DataFrame(like csv)的方法，然后才能show使用它做类似的事情。

有关更多信息，请参阅https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.DataFrameReader。