在spark中使用Hive上下文时出错:对象配置单元不是包org.apache.spark.sql的成员

Question

我正在尝试构建一个Hive Context,它继承自SQLContext.

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

我收到以下错误:

error: object hive is not a member of package org.apache.spark.sql
       val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

我可以从自动完成中清楚地看到蜂巢不存在.关于如何解决这个问题的任何想法？这是来自sparkSQL文档的示例.

谢谢

Answer 1

使用sbt:

您必须在依赖项中包含spark-hive.

为此,请在.sbt文件中添加以下行:

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.0"

Answer 2

由于hive的依赖关系,它默认不会编译成spark二进制文件,你必须自己构建它.从网站上引用

但是,由于Hive具有大量依赖项,因此它不包含在默认的Spark程序集中.为了使用Hive,您必须首先运行sbt/sbt -Phive assembly/assembly(或使用-Phive for maven).