如果我们有一个由一列类别和一列值组成的Pandas数据框,我们可以通过执行以下操作删除每个类别中的均值:
df["DemeanedValues"] = df.groupby("Category")["Values"].transform(lambda g: g - numpy.mean(g))
据我所知,Spark数据帧不直接提供这种分组/转换操作(我在Spark 1.5.0上使用PySpark).那么,实现这种计算的最佳方法是什么？
我尝试过如下使用group-by/join:
df2 = df.groupBy("Category").mean("Values")
df3 = df2.join(df)
但它很慢,因为据我所知,每个类别都需要对DataFrame进行全面扫描.
我认为(但尚未验证)如果我将group-by/mean的结果收集到字典中,然后在UDF中使用该字典,我可以加快速度,如下所示:
nameToMean = {...}
f = lambda category, value: value - nameToMean[category]
categoryDemeaned = pyspark.sql.functions.udf(f, pyspark.sql.types.DoubleType())
df = df.withColumn("DemeanedValue", categoryDemeaned(df.Category, df.Value))
在不牺牲性能的情况下,是否存在表达此类操作的惯用方法？