在pyspark中groupBy之后的列别名

Question

我需要在下面一行中得到的数据框,在groupBy之后的max('diff')列中有一个别名"maxDiff".但是,下面的行不做任何改变,也不会抛出错误.

 grpdf = joined_df.groupBy(temp1.datestamp).max('diff').alias("maxDiff")

Answer 1

您可以使用agg而不是调用max方法:

from pyspark.sql.functions import max

joined_df.groupBy(temp1.datestamp).agg(max("diff").alias("maxDiff"))

同样在Scala中

import org.apache.spark.sql.functions.max

joined_df.groupBy($"datestamp").agg(max("diff").alias("maxDiff"))

要么

joined_df.groupBy($"datestamp").agg(max("diff").as("maxDiff"))

Answer 2

这是因为你是整个DataFrame对象的别名,而不是Column.这是一个如何别名的例子Column:

import pyspark.sql.functions as func

grpdf = joined_df \
    .groupBy(temp1.datestamp) \
    .max('diff') \
    .select(func.col("max(diff)").alias("maxDiff"))

Answer 3

除了此处已有的答案外，如果您知道聚合列的名称，则以下也是方便的方法，您不必从中导入pyspark.sql.functions：

1

grouped_df = joined_df.groupBy(temp1.datestamp) \
                      .max('diff') \
                      .selectExpr('max(diff) AS maxDiff')

有关信息，请参阅文档.selectExpr()

2

grouped_df = joined_df.groupBy(temp1.datestamp) \
                      .max('diff') \
                      .withColumnRenamed('max(diff)', 'maxDiff')

看 信息，文档.withColumnRenamed()

这里的答案更详细：https : //stackoverflow.com/a/34077809