小编stu*_*333的帖子

SparkSQL 数据帧错误:值显示不是 org.apache.spark.sql.DataFrameReader 的成员

我是 Spark/Scala/Dataframes 的新手。我使用的是 Scala 2.10.5、Spark 1.6.0。我正在尝试加载一个 csv 文件,然后从中创建一个数据框。使用 scala shell,我按以下顺序执行以下操作。执行第 6 行后,我收到一条错误消息:

error: value show is not a member of org.apache.spark.sql.DataFrameReader

有人可以建议我可能缺少什么吗?我知道如果我使用 REPL(shell),我不需要导入 sparkcontext,所以 sc 将自动创建,但是任何想法我做错了什么?

1.import org.apache.spark.sql.SQLContext

  1. import sqlContext.implicits._

  2. val sqlContext = new SQLContext(sc)

  3. val csvfile = "path_to_filename in hdfs...."

  4. val df = sqlContext.read.format(csvfile).option("header", "true").option("inferSchema", "true")

  5. df.show()

scala dataframe apache-spark

2
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-spark ×1

dataframe ×1

scala ×1