spark-scala 数据帧中的时间戳比较

Question

我在 spark 数据框中有一个 string 类型的字段，它的值是 format 2019-07-08 00:00。我必须在场上执行一个条件，例如

df.filter(myfield > 2019-07-08 00:00)

Answer 1

String考虑到您的日期格式是英国军事形式，should 的标准比较运算符可以工作：

val df = Seq(
  (1, "2019-07-06 16:00"),
  (2, "2019-07-08 09:00"),
  (3, "2019-07-11 06:30")
).toDF("id", "date")

df.filter(col("date") > "2019-07-08 00:00").show
// +---+----------------+
// | id|            date|
// +---+----------------+
// |  2|2019-07-08 09:00|
// |  3|2019-07-11 06:30|
// +---+----------------+