在spark 1.6中将csv作为数据帧读取

Question

我有Spark 1.6并试图将csv(或tsv)文件作为数据帧读取.以下是我采取的步骤:

scala>  val sqlContext= new org.apache.spark.sql.SQLContext(sc)
scala> import sqlContext.implicits._
scala> val df = sqlContext.read
scala> .format("com.databricks.spark.csv")
scala> .option("header", "true")
scala.option("inferSchema", "true")
scala> .load("data.csv")
scala> df.show()

错误:

<console>:35: error: value show is not a member of org.apache.spark.sql.DataFrameReader df.show()

最后一个命令应该显示数据帧的前几行,但是我收到了错误消息.任何帮助都感激不尽.

Answer 1

看起来你的函数没有正确链接在一起,它试图在val df上运行"show()",这是对DataFrameReader类的引用.如果我运行以下内容,我可以重现您的错误:

val df = sqlContext.read
df.show()

如果您重新构建代码,它将工作:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("data.csv")
df.show()