访问 Kubernetes 上正在运行的 Spark 作业的 SparkUI

Question

我正在 Kubernetes 上运行 Spark，需要在运行时监控 Spark 作业。
如何在作业运行时访问作业的 SparkUI 页面？

Answer 1

1. 为 Spark 驱动程序 pod 启用端口转发：

kubectl port-forward <driver-pod-name> 4040:4040

2. 通过以下方式从您的网络访问 SparkUIhttp://localhost:4040

您还可以通过查找相关日志来确保 SparkUI 正在运行：

kubectl logs <driver-pod-name> | grep SparkUI

输出示例：

21/11/22 09:50:21 INFO Utils：已在端口 4040 上成功启动服务“SparkUI”。21/11/22 09:50:21 INFO SparkUI：将 SparkUI 绑定到 0.0.0.0，并从http://启动火花-xxxxxxxxxxxxxxxx-driver-svc.spark.svc:4040