Boto3:仅从S3资源中获取所选对象

Question

我可以通过获取和读取AWS S3存储桶中的所有对象

s3 = boto3.resource('s3')
    bucket = s3.Bucket('my-bucket')
    all_objs = bucket.objects.all()
    for obj in all_objs:
        pass
        #filter only the objects I need

然后

obj.key

会给我一条路径.

有没有办法事先过滤那些尊重某个起始路径(存储桶中的目录)的文件,这样我就可以避免遍历所有对象并在以后过滤？

Answer 1

使用filter[1],[2]等集合方法,如bucket.

s3 = boto3.resource('s3')
bucket = s3.Bucket('my-bucket')
objs = bucket.objects.filter(Prefix='myprefix')
for obj in objs:
    pass

Answer 2

对于使用boto3.client('s3')而不是 的人boto3.resource('s3')，您可以使用 'Prefix' 键来过滤 s3 存储桶中的对象

import boto3

s3 = boto3.client('s3')

params = {
    "Bucket": "HelloWorldBucket",
    "Prefix": "Happy"
}

happy_objects = s3.list_objects_v2(**params)

上面的代码片段将获取“HelloWorldBucket”中“Happy”文件夹中的所有文件。

PS：s3 中的文件夹只是一个构造，并作为文件/对象名称的前缀实现。