如何从 DataFrame 获取 Array[Seq[String]]？

Question

怎么传DataFrame cc进去Array[Seq[String]]？

val factors = $(ccCols).split(",")
val cc = dataset.select(factors.head, factors.tail: _*)

我试过这种方式，但它给了我Array[Row]：

cc.rdd.collect()

Answer 1

您将需要使用对象的toSeq功能Row：

val a = sc.parallelize(Seq((1,2),(3,4))).toDF("a", "b")
a.show
/*
Output:
+-+-+
|a|b|
+-+-+
|1|2|
|3|4|
+-+-+
*/

a.collect.map(_.toSeq)
// Output: Array(WrappedArray(1, 2), WrappedArray(3, 4))