小编Gio*_*lin的帖子

使用pyspark计算groupBy总数的百分比

我在pyspark中有以下代码,生成的表向我显示了列的不同值及其计数。我想让另一列显示每一行代表总计数的百分比。我怎么做?

difrgns = (df1
           .groupBy("column_name")
           .count()
           .sort(desc("count"))
           .show())
Run Code Online (Sandbox Code Playgroud)

提前致谢!

apache-spark pyspark

4
推荐指数
4
解决办法
1707
查看次数

使用pyspark从Spark数据框中过滤和计算负/正值?

我不知道如何使用 pyspark 在列中过滤正值或负值,你能帮忙吗?

我有一个包含 10MM+ 行和 50+ 列的 spark 数据框,需要计算一个特定列中的值等于或小于 0 的次数。

提前致谢。

apache-spark apache-spark-sql pyspark

2
推荐指数
1
解决办法
5762
查看次数

标签 统计

apache-spark ×2

pyspark ×2

apache-spark-sql ×1