小编apn*_*ith的帖子

哪种方法最好检查数据帧是否为空?`df.limit(1).count == 0`或`df.isEmpty`?

对于以下两种检查数据帧是否为空的方法:

  1. df.isEmpty
  2. df.limit(1).count == 0

我看到df.isEmpty有以下实现:

  def isEmpty: Boolean = withAction("isEmpty", limit(1).groupBy().count().queryExecution) { plan =>
    plan.executeCollect().head.getLong(0) == 0
  }
Run Code Online (Sandbox Code Playgroud)

看起来它不只是直接计数。

其背后的想法是groupBy什么?只是为了获取数据框?

为什么要queryExecution使用该计划?

scala apache-spark apache-spark-sql

9
推荐指数
1
解决办法
176
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

scala ×1