相关疑难解决方法(0)

Spark RDD到DataFrame python

我试图将Spark RDD转换为DataFrame.我已经看到了将方案传递给sqlContext.CreateDataFrame(rdd,schema)函数的文档和示例 .

但我有38列或字段,这将进一步增加.如果我手动给出指定每个字段信息的模式,那将会是如此繁琐的工作.

有没有其他方法可以在不知道先前列的信息的情况下指定模式.

python apache-spark pyspark spark-dataframe

34
推荐指数
1
解决办法
8万
查看次数

标签 统计

apache-spark ×1

pyspark ×1

python ×1

spark-dataframe ×1