如何打印来自 Sagemaker 培训的调试信息？

Question

我有一个 jupyter notebook 脚本，它只是启动一个训练脚本，大概是在一个 docker 容器中。

我在该训练脚本中添加了一些打印语句，但它没有显示在笔记本或 CloudWatch 中。

我正在使用常规的 print() 语句。我应该如何从训练脚本记录调试？

Answer 1

当 Python 尝试缓冲 stdout 时，我看到了这一点，这并不总是能很好地与 Docker 配合——将 ENV PYTHONUNBUFFERED=1 添加到 Dockerfile（然后重建映像）将解决此问题（如果这是原因的话）。

Answer 2

您可以在 AWS CloudWatchLogs 上找到日志。转到 Sagemaker 仪表板上的培训作业，选择您要查找的培训作业。您将在其中找到一个选项“view_logs”。它将引导您访问 Cloudwatch 日志。

希望这可以帮助！