如何查看 AWS Glue Spark UI

Question

在我的 Glue 作业中，我启用了 Spark UI 并指定了 Spark UI 工作所需的所有必要细节（s3 相关等）。
如何查看 Glue 作业的 DAG/Spark UI？

Answer 1

您需要设置一个可以托管历史服务器的 ec2 实例。

以下文档包含指向您可以使用的 CloudFormation 模板的链接。 https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

您可以通过ec2实例访问历史服务器（默认为18080）。您需要适当配置网络和端口。

编辑 - 还有一个选项可以在本地设置 SparkUI。这需要从 aws-glue-samples 存储库下载 docker 映像，并在那里设置 AWS 凭证和 s3 位置。该服务器使用粘合作业生成的文件。这些文件大约有 4MB 大。