Spark 中转换 dd-MMM-yy 日期格式

Question

我有一个 Spark 数据框（Scala API），其中包含一个名为 的列transfer date，日期的格式string为这种格式24-JUL-17。

我想将它转换为日期字符串到时间戳。我该怎么做？

Answer 1

也可以用以下方法完成to_timestamp(date_col, expr)

import org.apache.spark.sql.functions.to_timestamp

val df = date.withColumn("ts", to_timestamp($"transfer date", "dd-MMM-yy"))

现在df中的ts列是类型。timestamp

Answer 2

我找到了 ：

import org.apache.spark.sql.functions.unix_timestamp

val ts = unix_timestamp($"transfer date", "dd-MMM-yy").cast("timestamp")
dfs.withColumn("ts",ts).show()