Spark作业执行时间

Question

这可能是一个非常简单的问题.但有没有简单的方法来衡量火花作业的执行时间(使用提交spark-submit)？

它将帮助我们根据输入数据的大小来分析火花作业.

编辑:我http://[driver]:4040用来监视我的工作,但是这个Web UI关闭了我的工作完成的那一刻.

Answer 1

每个SparkContext都会启动自己的Web UI实例,该实例位于

http:// [master]:
默认为4040(可以使用更改端口 spark.ui.port).

它提供包含以下信息的页面(选项卡):

作业,阶段,存储(使用RDD大小和内存)环境,执行程序,SQL

此信息仅在应用程序默认运行之前可用.

提示:您可以在应用程序完成后通过启用来使用Web UI spark.eventLog.enabled.

样本web ui,你可以看到时间为3.2小时: