ven*_*ata 0 hadoop hive dataframe apache-spark apache-spark-sql
我们希望在Hive外部表之上创建数据框,并使用Hive模式和数据进行火花级别的计算。
我们可以从配置单元外部表中获取架构并将其用作数据框架构吗?
hive-metastore知道表的架构,并将此信息传递给spark。该表是否在外部无关紧要:
val df = sqlContext.table(tablename)
Run Code Online (Sandbox Code Playgroud)
哪里sqlContext是类型HiveContext。您可以使用以下方式验证您的架构
df.printSchema
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
12275 次 |
| 最近记录: |