小编Joa*_*uin的帖子

如何按两个日期格式列之间的日期过滤 python Spark DataFrame

我正在使用 pyspark 2.1,并且我有一个数据框,其中有两列,日期格式如下:

Column A ,  START_DT       ,  END_DT
1        ,  2016-01-01     ,  2020-02-04
16       ,  2017-02-23     ,  2017-12-24
Run Code Online (Sandbox Code Playgroud)

我想过滤和2018-12-31之间的某个日期(例如 )(在该示例中,将过滤第二行)。START_DTEND_DT

START_DT和列都END_DT已经是日期格式,我正在寻找像 sql 这样的方法:

SELECT *
FROM  MYTABLE  WHERE  '2018-12-31' BETWEEN start_dt AND end_dt
Run Code Online (Sandbox Code Playgroud)

python apache-spark apache-spark-sql pyspark

5
推荐指数
1
解决办法
2万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

pyspark ×1

python ×1