从Apache Spark中的模式获取数据类型列表

Question

我在Spark-Python中有以下代码来获取DataFrame架构中的名称列表,它工作正常,但我如何获取数据类型列表？

columnNames = df.schema.names

例如,类似于:

columnTypes = df.schema.types

有没有办法获得DataFrame模式中包含的单独的数据类型列表？

Answer 1

这是一个建议:

df = sqlContext.createDataFrame([('a', 1)])

types = [f.dataType for f in df.schema.fields]

types
> [StringType, LongType]

参考:

• pyspark.sql.types.StructType
• pyspark.sql.types.StructField

Answer 2

由于问题标题不是特定于python的，因此我将在scala此处添加版本：

val tyes = df.schema.fields.map(f => f.dataType)

这将导致的数组org.apache.spark.sql.types.DataType。