Spark SQL HiveContext - saveAsTable创建错误的模式

Question

我尝试将Dataframe存储到Spark 1.3.0(PySpark)中的持久Hive表中.这是我的代码:

sc = SparkContext(appName="HiveTest")
hc = HiveContext(sc)
peopleRDD = sc.parallelize(['{"name":"Yin","age":30}'])
peopleDF = hc.jsonRDD(peopleRDD)
peopleDF.printSchema()
#root
# |-- age: long (nullable = true)
# |-- name: string (nullable = true)
peopleDF.saveAsTable("peopleHive")

我期望的Hive输出表是:

Column  Data Type   Comments
age     long        from deserializer
name    string      from deserializer

但上面代码的实际输出Hive表是:

Column  Data Type       Comments
col     array<string>   from deserializer

为什么Hive表与DataFrame的架构不同？如何实现预期产量？

Answer 1

这不是架构是错的.Hive无法正确读取Spark创建的表,因为它甚至没有正确的镶木地板serde.如果这样做sqlCtx.sql('desc peopleHive').show(),它应该显示正确的架构.或者您可以使用spark-sql客户端而不是hive.您还可以使用create table语法创建外部表,它就像Hive一样工作,但Spark对镶木地板有更好的支持.