在 Spark 中获取 Hive 表的 HDFS 位置

Question

我正在尝试使用以下查询从 Spark 中的 Hive 分区表解析位置：

val dsc_table = spark.sql("DESCRIBE FORMATTED data_db.part_table")

我无法在 Spark 中找到任何查询或任何其他方式来专门从此查询中选择位置列。

Answer 1

DataFrame API 中的 df.inputFiles 方法将打印文件路径。它返回组成此 DataFrame 的文件的尽力快照。

spark.read.table("DB.TableName").inputFiles
Array[String]: = Array(hdfs://test/warehouse/tablename)