相关疑难解决方法(0)

如何获取 pyspark 中 groupBy 之后每个计数的总数百分比?

给定以下数据框:

import findspark
findspark.init()
from pyspark.sql import SparkSession

spark = SparkSession.builder.master("local").appName("test").getOrCreate()
df = spark.createDataFrame([['a',1],['b', 2],['a', 3]], ['category', 'value'])
df.show()


+--------+-----+
|category|value|
+--------+-----+
|       a|    1|
|       b|    2|
|       a|    3|
+--------+-----+
Run Code Online (Sandbox Code Playgroud)

我想计算每个类别中的项目数量,并提供每个计数的总数百分比,如下所示

+--------+-----+----------+
|category|count|percentage|
+--------+-----+----------+
|       b|    1|     0.333|
|       a|    2|     0.667|
+--------+-----+----------+
Run Code Online (Sandbox Code Playgroud)

pyspark

7
推荐指数
2
解决办法
3587
查看次数

标签 统计

pyspark ×1