使用 Spark SQL 将字符串格式化为日期时间

Question

我正在尝试使用 Spark sql 转换并重新格式化存储为字符串的日期列，如下所示...

30/03/20 02:00

到一个日期时间列，看起来像这样......

2020-03-30 02:00 ('YYYY-MM-dd HH:mm')

我没有使用 python，而是简单地将 DBeaver 中的 sql 直接写入 Spark Datalake。任何帮助是极大的赞赏。

Answer 1

用于 to_timestamp将字符串日期解析为时间戳列并将date_format其格式化为所需的模式：

select date_format(to_timestamp(sting_date, 'dd/MM/yy HH:mm'), 'yyyy-MM-dd HH:mm') as date