相关疑难解决方法(0)

语境

在最近的SO-post 中，我发现withColumn在处理堆叠/链列表达式以及不同的窗口规范时，使用可能会改进 DAG。然而，在这个例子中，withColumn实际上使 DAG 变得更糟，并且与使用select相反的结果不同。

可重现的例子

首先，一些测试数据（PySpark 2.4.4 独立版）：

import pandas as pd
import numpy as np

from pyspark.sql import SparkSession, Window
from pyspark.sql import functions as F

spark = SparkSession.builder.getOrCreate()

dfp = pd.DataFrame(
    {
        "col1": np.random.randint(0, 5, size=100),
        "col2": np.random.randint(0, 5, size=100),
        "col3": np.random.randint(0, 5, size=100),
        "col4": np.random.randint(0, 5, size=100),      
        "col5": np.random.randint(0, 5, size=100),        

    }
)

df = spark.createDataFrame(dfp)
df.show(5)

+----+----+----+----+----+
|col1|col2|col3|col4|col5|
+----+----+----+----+----+
|   0|   3|   2|   2|   2|
| …