在Python中读取位于S3子文件夹下的文件内容

Question

我正在尝试从 S3 存储桶读取文件内容（而不是下载它）。问题是该文件位于多级文件夹下。例如，完整路径可以是s3://s3-bucket/folder-1/folder-2/my_file.json. 如何获取该特定文件，而不是使用列出所有对象的迭代方法？

这是我要更改的代码：

import boto3

s3 = boto3.resource('s3')
bucket = s3.Bucket('s3-bucket')
for obj in my_bucket.objects.all():
   key = obj.key
   if key == 'folder-1/folder-2/my_file.json':
      return obj.get()['Body'].read()

能不能用更简单、更直接的方式来完成？

Answer 1

是的 - 无需枚举存储桶。

直接使用 读取文件s3.Object，提供存储桶名称作为第一个参数，对象键作为第二个参数。

S3 中并不真正存在“文件夹” - Amazon S3 不使用层次结构来组织其对象和文件。为了简化组织，Amazon S3 控制台将“文件夹”显示为对对象进行分组的一种方式，但它们最终会合并到您的对象键中。

这应该有效：

import boto3
s3 = boto3.resource('s3')
obj = s3.Object("s3-bucket", "folder-1/folder-2/my_file.json")
body = obj.get()['Body'].read()