Databricks集群完成后获取Executor日志

Question

我正在 databricks 集群上运行作业。当集群运行时，我可以通过转到 Spark Cluster UI Master 下拉列表、选择一个工作线程并浏览 stderr 日志来找到执行程序日志。但是，一旦作业完成并且集群终止，我将无法看到这些日志。我到达屏幕下方

我无法访问 Spark UI（最后一个选项卡）。有什么方法可以在集群终止后获取执行程序日志，就像我们可以下载驱动程序日志一样？

Answer 1

您可以配置集群的日志传送位置。

之后，通过路径查找执行器日志{log_delivery_location}/{cluster_id}/executor/。

在 的 URL 中查找 cluster_id sparkui。要阅读日志文件，您可以通过复制dbfs:/FileStore/并使用答案来下载它们。