使用 MLflow 监控数据和模型漂移

Question

MLFlow Tracking 非常适合监控实验，但我想知道 MLFlow 或其他开源平台上是否有解决方案可以集成来监控数据和模型漂移。

Databricks有一篇文章展示了如何使用 Delta Lake 实现这一目标，但是，由于您可以使用 MLFlow 部署和服务模型，因此在我看来，监控模型所做的预测会很容易，就像我们监控的方式一样实验运行。

Answer 1

我的团队最近添加了 MLflow 和我们名为Whylogs的开源数据监控库之间的集成。这使您可以记录通过模型的数据和/或模型输出的统计概况。然后，您可以从 MLflow 运行工件中收集这些配置文件并分析它们的偏差。

我们有一个笔记本可以引导您完成集成过程，还有一篇博客文章可以与之配套。如果您有任何疑问或其他功能请求，请留言！