如何获得火花工作的指标？

Question

我们有一个拥有大约20个节点的集群.此群集在许多用户和作业之间共享.因此,我很难观察我的工作,以便获得一些指标,如CPU使用率,I/O,网络,内存等......

如何获得工作级别的指标.

PS:群集已经安装了Ganglia但不确定如何让它在作业级别上运行.我想要做的是监视集群使用的资源,仅执行我的工作.

Answer 1

您可以从 Spark History Server 获取 Spark 作业指标，该指标显示以下信息：
- 调度程序阶段和任务的列表
- RDD 大小和内存使用情况的摘要
- A 环境信息
- A 有关正在运行的执行程序的信息

1、在启动spark应用程序之前将spark.eventLog.enabled设置为true。这会将 Spark 配置为将 Spark 事件记录到持久存储中。
2、设置spark.history.fs.logDirectory，这是包含历史服务器要加载的应用程序事件日志的目录；
3、执行：./sbin/ start-history-server.sh 启动历史服务器

请参阅以下链接了解更多信息：
http ://spark.apache.org/docs/latest/monitoring.html