小编Sau*_*Das的帖子

如果某些值为 null,则在 SUM 中返回 null

我遇到的情况是,列中可能有空值,需要在组中求和。

如果我在组中遇到空值,我希望该组的总和为空。但 PySpark 默认情况下似乎会忽略空行并对其余非空值求和。

例如:

在此输入图像描述

dataframe = dataframe.groupBy('dataframe.product', 'dataframe.price') \
                     .agg(f.sum('price'))
Run Code Online (Sandbox Code Playgroud)

预期输出是:

在此输入图像描述

但我得到:

在此输入图像描述

null aggregate apache-spark apache-spark-sql pyspark

4
推荐指数
1
解决办法
6671
查看次数