如何计算databricks笔记本中命令单元所花费的执行时间

Question

我需要知道执行每个笔记本中的命令单元列表所需的时间。Databricks 显示“命令花费了 x 秒数”来执行。与显示的执行时间类似，我需要捕获执行笔记本中所有命令所需的时间。

Answer 1

我一直在使用以下内容：

val startTime = System.nanoTime
// your code goes here
val endTime = System.nanoTime

val elapsedSeconds = (endTime - startTime) / 1e9d

既然您提到您是新手，请不要忘记 Spark 使用延迟执行，因此执行包含转换的单元格的时间并不是真正的执行时间。请务必包含一个测量真实执行时间的操作。