我试图将Spark RDD转换为DataFrame.我已经看到了将方案传递给sqlContext.CreateDataFrame(rdd,schema)函数的文档和示例 .
sqlContext.CreateDataFrame(rdd,schema)
但我有38列或字段,这将进一步增加.如果我手动给出指定每个字段信息的模式,那将会是如此繁琐的工作.
有没有其他方法可以在不知道先前列的信息的情况下指定模式.
python apache-spark pyspark spark-dataframe
apache-spark ×1
pyspark ×1
python ×1
spark-dataframe ×1