如何在 Databricks 中获取作业/运行级别日志？

Question

Databricks 仅在 UI 或 API 中提供集群级别日志。有没有办法在databricks中配置spark或log4j，以便我们获取运行/作业级别日志？

Answer 1

您可以在 Azure 体系结构中心找到有关监视 Azure Databricks的指南，解释本文中使用的概念 -使用 Azure Log Analytics 和 Grafana 监视和登录 Azure Databricks。

为了提供完整的数据收集，我们将Spark 监控库与自定义 log4j.properties 配置相结合。Spark 2.4 监控库的构建以及 Databricks 中的安装是通过本教程中引用的脚本自动完成的，这些脚本可从https://github.com/algattik/databricks-monitoring-tutorial/获取。