如何从spark（scala）中不同的年、月和日列中获取日期

Question

我有一个 DataFrame 包括如下数据：

+----+-----+---+-----+
|Year|Month|Day|...  |
+----+-----+---+-----+
|2012|    2| 20|     |
|2011|    7|  6|     |
|2015|    3| 15|     |

我想添加一个带有日期的列

Answer 1

将列合并在一起，然后使用unix_timestamp和to_date来获取时间戳列。对于输入数据框df：

df.withColumn("merge", concat_ws("-", $"Year", $"Month", $"Day"))
  .withColumn("date", to_date(unix_timestamp($"merge", "yyyy-MM-dd").cast("timestamp")))
  .drop("merge")

Answer 2

不像Shaido那么复杂，只是

df.withColumn("date", F.to_date(F.concat_ws("-", "Year", "Month", "Day")) ).show()

开发 Spark 2.4。