小编Aru*_*run的帖子

合并重叠日期的记录

我在 PySpark 数据框中有重叠日期的要求合并记录。 MIN开始日期和MAX结束数据将是重叠记录的开始和结束日期。

样本记录:

输入数据

Item Code          Item name     Start_date       End_date
==============     =========     ===========      ===========
111                Item1        15-May-2004      20-Jun-2004
111                Item1        22-May-2004      07-Jun-2004
111                Item1        20-Jun-2004      13-Aug-2004
111                Item1        27-May-2004      30-Aug-2004
111                Item1        02-Sep-2004      23-Dec-2004
222                Item2       21-May-2004      19-Aug-2004 
Run Code Online (Sandbox Code Playgroud)

输出应该像

Item Code         Item name      Start_date       End_date
==============    =========      ===========      ===========
111               Item1          15-May-2004      30-Aug-2004
111               Item1          02-Sep-2004      23-Dec-2004
222               Item2          21-May-2004      19-Aug-2004 
Run Code Online (Sandbox Code Playgroud)

apache-spark apache-spark-sql pyspark

4
推荐指数
1
解决办法
99
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

pyspark ×1