Pyspark：是否有与 pandas info() 等效的方法？

Question

PySpark 中是否有与 pandas info() 方法等效的方法？

我正在尝试获取有关 PySpark 中数据帧的基本统计信息，例如： 列数和行数 空值数量 数据帧大小

pandas 中的 Info() 方法提供了所有这些统计信息。

Answer 1

还有汇总方法来获取行号和一些其他描述性统计数据。与已经提到的描述方法类似。

来自 PySpark手册：

df.summary().show()
+-------+------------------+-----+
|summary|               age| name|
+-------+------------------+-----+
|  count|                 2|    2|
|   mean|               3.5| null|
| stddev|2.1213203435596424| null|
|    min|                 2|Alice|
|    25%|                 2| null|
|    50%|                 2| null|
|    75%|                 5| null|
|    max|                 5|  Bob|
+-------+------------------+-----+

or

df.select("age", "name").summary("count").show()
+-------+---+----+
|summary|age|name|
+-------+---+----+
|  count|  2|   2|
+-------+---+----+

Answer 2

要找出有关数据框的类型信息，您可以尝试 df.schema

spark.read.csv('matchCount.csv',header=True).printSchema()

StructType(List(StructField(categ,StringType,true),StructField(minv,StringType,true),StructField(maxv,StringType,true),StructField(counts,StringType,true),StructField(cutoff,StringType,true)))

对于摘要统计信息，您还可以查看文档中的描述方法。