在pyspark中将yyyymmdd转换为MM-dd-yyyy格式

Question

我有一个大数据框 df ，其中包含格式为日期的列，yyyymmdd我如何将其转换MM-dd-yyyy为 pySpark。

Answer 1

from datetime import datetime
from pyspark.sql.functions import col,udf
from pyspark.sql.types import DateType


rdd = sc.parallelize(['20161231', '20140102', '20151201', '20161124'])
df1 = sqlContext.createDataFrame(rdd, ['old_col'])

# UDF to convert string to date
func =  udf (lambda x: datetime.strptime(x, '%Y%m%d'), DateType())

df = df1.withColumn('new_col', date_format(func(col('old_col')), 'MM-dd-yyy'))

df.show()