用 pyspark 替换数据框中列的所有值

Question

我希望用特定值替换 Spark 数据框中列的所有值。我正在使用 pyspark。我尝试过类似的东西 -

new_df = df.withColumn('column_name',10)

这里我想将列中的所有值替换column_name为10. 在 pandas 中，这可以通过 df['column_name']=10. 我无法弄清楚如何在 Spark 中执行相同的操作。

Answer 1

使用方法可能会更容易，lit如下所示：

from pyspark.sql.functions import lit
new_df = df.withColumn('column_name', lit(10))