使用数据框架构的 Spark 地图数据框

Question

我有一个从 JSON 对象创建的数据框。我可以查询此数据框并将其写入镶木地板。

由于我推断出模式，因此我不一定知道数据框中的内容。

有没有办法使用自己的模式将列名输出或映射数据框？

// The results of SQL queries are DataFrames and support all the normal  RDD operations.
// The columns of a row in the result can be accessed by field index:
df.map(t => "Name: " + t(0)).collect().foreach(println)

// or by field name:
df.map(t => "Name: " + t.getAs[String]("name")).collect().foreach(println)

// row.getValuesMap[T] retrieves multiple columns at once into a Map[String, T]
df.map(_.getValuesMap[Any](List("name", "age"))).collect().foreach(println)
// Map("name" -> "Justin", "age" -> 19)

我想做类似的事情

df.map (_.getValuesMap[Any](ListAll())).collect().foreach(println)
// Map ("name" -> "Justin", "age" -> 19, "color" -> "red")

不知道列的实际数量或名称。

Answer 1

嗯，你可以，但结果是相当无用的：

val df = Seq(("Justin", 19, "red")).toDF("name", "age", "color")

def getValues(row: Row, names: Seq[String]) = names.map(
  name => name -> row.getAs[Any](name)
).toMap

val names = df.columns
df.rdd.map(getValues(_, names)).first

// scala.collection.immutable.Map[String,Any] = 
//   Map(name -> Justin, age -> 19, color -> red)

要获得真正有用​​的东西，需要在 SQL 类型和 Scala 类型之间进行适当的映射。在简单的情况下并不难，但在一般情况下很难。例如，有内置类型可用于表示任意struct. 这可以使用一点元编程来完成，但可以说它不值得大惊小怪。