Pyspark：如何将十天添加到现有日期列

Question

我在Pyspark中有一个数据框，其中的日期列称为“ report_date”。

我想创建一个名为“ report_date_10”的新列，该列将添加到原始report_date列中为10天。

下面是我尝试的代码：

df_dc["report_date_10"] = df_dc["report_date"] + timedelta(days=10)

这是我得到的错误：

AttributeError：“ datetime.timedelta”对象没有属性“ _get_object_id”

救命！谢谢

Answer 1

似乎您正在使用pandas添加列的语法；对于spark，您需要使用withColumn添加一个新列；要添加日期，有内置date_add函数：

import pyspark.sql.functions as F
df_dc = spark.createDataFrame([['2018-05-30']], ['report_date'])

df_dc.withColumn('report_date_10', F.date_add(df_dc['report_date'], 10)).show()
+-----------+--------------+
|report_date|report_date_10|
+-----------+--------------+
| 2018-05-30|    2018-06-09|
+-----------+--------------+