Spark Scala:检索架构并存储它

Question

是否可以检索RDD的模式并将其存储在变量中？因为我想使用相同的模式从另一个RDD创建一个新的数据框.例如,以下是我希望拥有的内容:

val schema = oldDF.getSchema()
val newDF = sqlContext.createDataFrame(rowRDD, schema)

假设我已经有rowRDD格式RDD[org.apache.spark.sql.Row],这可能吗？

Answer 1

只需使用schema属性

val oldDF = sqlContext.createDataFrame(sc.parallelize(Seq(("a", 1))))
val rowRDD = sc.parallelize(Seq(Row("b", 2))

sqlContext.createDataFrame(rowRDD, oldDF.schema)