小编dun*_*98k的帖子

一种边缘情况,在Spark SQL中使用分区保存镶木桌时,

#schema definitioin
final StructType schema = DataTypes.createStructType(Arrays.asList(
    DataTypes.createStructField("time", DataTypes.StringType, true),
    DataTypes.createStructField("accountId", DataTypes.StringType, true),
    ...

DataFrame df = hiveContext.read().schema(schema).json(stringJavaRDD);

df.coalesce(1)
    .write()
    .mode(SaveMode.Append)
    .format("parquet")
    .partitionBy("year")
    .saveAsTable("tblclick8partitioned");

Spark警告:

将分区数据源关系保存为Spark SQL特定格式的Hive Metastore,与Hive不兼容

在Hive中:

hive> describe tblclick8partitioned;
OK
col                     array<string>           from deserializer
Time taken: 0.04 seconds, Fetched: 1 row(s)

显然模式不正确 - 但是如果我saveAsTable在没有分区的Spark SQL中使用,则可以毫无问题地查询表.

问题是如何在Spark SQL中使用分区信息与Hive兼容的镶木桌？