如何在不使用案例类但使用 StructType 的情况下创建数据集（不是数据帧）？

Question

如何使用创建数据集StructType？

我们可以创建一个Dataset如下：

case class Person(name: String, age: Int)

val personDS = Seq(Person("Max", 33), Person("Adam", 32), Person("Muller", 
62)).toDS()
personDS.show()

有没有办法在Dataset不使用案例类的情况下创建一个？

我想创建一个DataFrame使用案例类并使用StructType.

Answer 1

如果您知道如何创建 DataFrame，那么您现在已经知道如何创建 Dataset 了 :)

DataFrame = Dataset[Row].

这是什么意思？尝试：

val df : DataFrame = spark.createDataFrame(...) // with StructType
import org.apache.spark.sql._
val ds : Dataset[Row] = df; // no error, as DataFrame is only a type alias of Dataset[Row]