如何从配置单元外部表创建数据框

ven*_*ata 0 hadoop hive dataframe apache-spark apache-spark-sql

我们希望在Hive外部表之上创建数据框,并使用Hive模式和数据进行火花级别的计算。

我们可以从配置单元外部表中获取架构并将其用作数据框架构吗?

Rap*_*oth 5

hive-metastore知道表的架构,并将此信息传递给spark。该表是否在外部无关紧要:

val df = sqlContext.table(tablename)
Run Code Online (Sandbox Code Playgroud)

哪里sqlContext是类型HiveContext。您可以使用以下方式验证您的架构

df.printSchema
Run Code Online (Sandbox Code Playgroud)