创建Spark DataFrame.无法推断类型的模式:<type'flora'>

Question

有人可以帮我解决Spark DataFrame中的这个问题吗？

当我这样做时,myFloatRDD.toDF()我收到一个错误:

TypeError:无法推断类型的模式:类型'float'

我不明白为什么......

例:

myFloatRdd = sc.parallelize([1.0,2.0,3.0])
df = myFloatRdd.toDF()

谢谢

Answer 1

SparkSession.createDataFrame,这是发动机罩下使用的,需要一个RDD/ list的 Row/ tuple/ list/ dict*或者pandas.DataFrame,除非用模式DataType设置.尝试将float转换为元组,如下所示:

myFloatRdd.map(lambda x: (x, )).toDF()

甚至更好:

from pyspark.sql import Row

row = Row("val") # Or some other column name
myFloatRdd.map(row).toDF()

要从DataFrame标量列表中创建一个标记,您必须SparkSession.createDataFrame直接使用它并提供模式***:

from pyspark.sql.types import FloatType

df = spark.createDataFrame([1.0, 2.0, 3.0], FloatType())

df.show()

## +-----+
## |value|
## +-----+
## |  1.0|
## |  2.0|
## |  3.0|
## +-----+

但对于一个简单的范围,最好使用SparkSession.range:

from pyspark.sql.functions import col

spark.range(1, 4).select(col("id").cast("double"))

*不再支持.

**Spark SQL还为Python对象公开的模式推断提供了有限的支持__dict__.

***仅在Spark 2.0或更高版本中受支持.