小编Vin*_*Vin的帖子

我正在尝试使用以下查询从 Spark 中的 Hive 分区表解析位置：

val dsc_table = spark.sql("DESCRIBE FORMATTED data_db.part_table")

我无法在 Spark 中找到任何查询或任何其他方式来专门从此查询中选择位置列。

下面是我来自 Spark 1.6 的代码。我正在尝试将其转换为 Spark 2.3，但在使用 split 时出现错误。

Spark 1.6 代码：

val file = spark.textFile(args(0))
val mapping = file.map(_.split('/t')).map(a => a(1))
mapping.saveAsTextFile(args(1))

Spark 2.3 代码：

val file = spark.read.text(args(0))
val mapping = file.map(_.split('/t')).map(a => a(1)) //Getting Error Here
mapping.write.text(args(1))

错误信息：

value split is not a member of org.apache.spark.sql.Row