pyspark 子串和聚合

Question

我是 Spark 的新手，我有一个包含此类数据的 csv 文件：

date,            accidents, injured
2015/20/03 18:00    15,          5
2015/20/03 18:30    25,          4
2015/20/03 21:10    14,          7
2015/20/02 21:00    15,          6

我想在它发生的特定时间聚合这些数据。我的想法是将日期子串到“年/月/日 hh”，没有分钟，这样我就可以把它作为一个键。我想给出每小时事故和受伤的平均值。也许 pyspark 有一种不同的、更聪明的方法？

谢谢你们！

Answer 1

嗯，这取决于你之后打算做什么，我猜。

最简单的方法是按照您的建议进行操作：对日期字符串进行子字符串化，然后聚合：

data = [('2015/20/03 18:00', 15, 5), 
    ('2015/20/03 18:30', 25, 4),
    ('2015/20/03 21:10', 14, 7),
    ('2015/20/02 21:00', 15, 6)]
df = spark.createDataFrame(data, ['date', 'accidents', 'injured'])

df.withColumn('date_hr',
              df['date'].substr(1, 13)
     ).groupby('date_hr')\
      .agg({'accidents': 'avg', 'injured': 'avg'})\
      .show()

但是，如果您想稍后进行更多计算，则可以将数据解析为 a TimestampType()，然后从中提取日期和小时。

import pyspark.sql.types as typ
from pyspark.sql.functions import col, udf
from datetime import datetime

parseString =  udf(lambda x: datetime.strptime(x, '%Y/%d/%m %H:%M'),   typ.TimestampType())
getDate =  udf(lambda x: x.date(), typ.DateType())
getHour = udf(lambda x: int(x.hour), typ.IntegerType())

df.withColumn('date_parsed', parseString(col('date'))) \
    .withColumn('date_only', getDate(col('date_parsed'))) \
    .withColumn('hour', getHour(col('date_parsed'))) \
    .groupby('date_only', 'hour') \
    .agg({'accidents': 'avg', 'injured': 'avg'})\
    .show()