有没有办法在pyspark中获取列数据类型?

arg*_*eon 5 apache-spark pyspark

已经讨论了在pyspark中查找列数据类型的方法是使用df.dtypes使用pyspark 获取列的数据类型。问题是对于数组或struct这样的数据类型,您会得到array<string>或的信息array<integer>。

问题:是否有获取pyspark数据类型的本机方法?喜欢ArrayType(StringType,true)

小智 11

只需使用schema:

df.schema[column_name].dataType
Run Code Online (Sandbox Code Playgroud)