如何将图像数据从 s3 存储桶加载到 sagemaker 笔记本？

Question

我刚刚开始使用 aws sagemaker。我尝试将图像从 s3 存储桶导入到 sagemaker 笔记本。但我无法将图像导入笔记本。我的图像位置是s3://my_bucket/train如何将 train 文件夹从给定路径导入到我的 sagemaker 笔记本。我已经在这里完成了一些解决方案，这些解决方案适用于 CSV 文件。我的 S3 存储桶中的所有图像均为 .jpeg 格式。

Answer 1

您可以使用s3fs它轻松访问您的存储桶以及其中的图像文件。

from PIL import Image
import s3fs

fs = s3fs.S3FileSystem()

# To List 5 files in your accessible bucket
fs.ls('s3://bucket-name/data/')[:5]

# open it directly
with fs.open(f's3://bucket-name/data/image.png') as f:
    display(Image.open(f))

Answer 2

您无需将图像从 S3 存储桶下载到本地 SageMaker 实例来训练模型。如果您尝试提取它们进行数据探索/分析，您可以使用SageMaker 笔记本中的aws cli 。您可以使用以下命令下载示例图像。这将复制sample.jpg到images您的pwd.

aws s3 cp s3://my_bucket/train/sample.jpg ./images/sample.jpg

尝试查看amazon-sagemaker-examples存储库，了解如何在 SageMaker 上使用图像格式。