我是 Spark/Scala/Dataframes 的新手。我使用的是 Scala 2.10.5、Spark 1.6.0。我正在尝试加载一个 csv 文件,然后从中创建一个数据框。使用 scala shell,我按以下顺序执行以下操作。执行第 6 行后,我收到一条错误消息:
error: value show is not a member of org.apache.spark.sql.DataFrameReader
有人可以建议我可能缺少什么吗?我知道如果我使用 REPL(shell),我不需要导入 sparkcontext,所以 sc 将自动创建,但是任何想法我做错了什么?
1.import org.apache.spark.sql.SQLContext
import sqlContext.implicits._
val sqlContext = new SQLContext(sc)
val csvfile = "path_to_filename in hdfs...."
val df = sqlContext.read.format(csvfile).option("header", "true").option("inferSchema", "true")
df.show()