如何在pyspark中使用带有两列的date_add？

Question

我有一个包含一些列的数据框：

+------------+--------+----------+----------+
|country_name| ID_user|birth_date|      psdt|
+------------+--------+----------+----------+
|      ??????|16460783|       486|1970-01-01|
|      ??????|16467391|      4669|1970-01-01|
|      ??????|16467889|      6861|1970-01-01|
|   ?????????|16468013|      5360|1970-01-01|
|      ??????|16471027|      6311|1970-01-01|
|      ??????|16474162|      5567|1970-01-01|
|      ??????|16476386|      4351|1970-01-01|
|      ??????|16481067|      3831|1970-01-01|
|   ?????????|16485965|     -2369|1970-01-01|
|    ????????|16486027|      5864|1970-01-01|
+------------+--------+----------+----------+
only showing top 10 rows

我需要用“birth_date”添加“psdt”。我写了这段代码，但 (sf.date_add) 不起作用：

resultbirthDF =(
        resultDF
        .select(sf.col("country_name"),
                sf.col("ID_user"),
                sf.col("birth_date"),
                sf.lit(past_datetr).alias("psdt")
               )
        .withColumn("birth_datetrue",sf.date_add(sf.to_date(sf.col("psdt")),sf.col("birth_date")))
    ).show(10)

'Column' object is not callable
Traceback (most recent call last):
  File "/volumes/disk1/yarn/local/usercache/livy/appcache/application_1573843665329_0786/container_e05_1573843665329_0786_01_000001/pyspark.zip/pyspark/sql/functions.py", line 1006, in date_add
    return Column(sc._jvm.functions.date_add(_to_java_column(start), days))

如何解决这个问题呢？

Answer 1

来自 Pyspark 文档

pyspark.sql.functions.date_add（开始，天）

Returns the date that is days days after start

>>> df = spark.createDataFrame([('2015-04-08',)], ['dt'])
>>> df.select(date_add(df.dt, 1).alias('next_date')).collect()
[Row(next_date=datetime.date(2015, 4, 9))]

尝试将您的代码更改为sf.date_add(sf.to_date(sf.col("psdt")), 10)并查看是否添加了 10 天。date_add期望第一个参数是一列，第二个参数是一个整数（对于要添加到列中的天数）。

您可以在没有 UDF 的情况下做您想做的事情，但使用 SQL 表达式如下：

df.withColumn("birth_datetrue", expr("date_add(psdt, birth_date)"))

示例输出：

df.withColumn("new_dt", F.expr("date_add(dt, add)")).show()

+----------+---+----------+
|        dt|add|    new_dt|
+----------+---+----------+
|2015-04-08|  1|2015-04-09|
|2015-04-09|  2|2015-04-11|
|2015-04-10|  3|2015-04-13|
+----------+---+----------+