SparkSQL:找不到值expr

Question

我在使用Spark SQL构建一个简单的应用程序时遇到了一些问题.我想要做的是添加一个新列到DataFrame.因此,我做了:

val sqlContext=new HiveContext(sc)
import sqlContext._
// creating the DataFrame
correctDF.withColumn("COL1", expr("concat('000',COL1)") )

但是当我用sbt构建它时会抛出异常:

not found: value expr

(还有Eclipse抱怨它)

而在spark-shell它的作品就像一个魅力.

在我的build.sbt文件中,我有:

scalaVersion := "2.10.5"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0" % "provided"

libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.0" % "provided"

libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.0" % "provided"

我在阅读帖子后添加了最后一行,但没有改变......

有人能帮我吗？

Answer 1

我找到了答案.我错过了这个导入:

import org.apache.spark.sql.functions._