如何在boto3中获取过滤对象集合的大小

Question

我尝试了以下方法来获取s3.Bucket.objectsCollectionboto3 v1.7.37 中的 len/content_length ：

import boto3    
s3 = boto3.resource('s3')
bucket = s3.Bucket('myBucket')
bucketObjects = bucket.objects.filter(Prefix='myPrefix')
if (len(bucketObjects) > 0):
     do_something()
else:
     do_something_else()

不幸的是，这给了我以下错误：

TypeError: object of type 's3.Bucket.objectsCollection' has no len()

我也试过这个bucketobjects.content_length并得到

AttributeError: 's3.Bucket.objectsCollection' object has no attribute 'content_length'

我是否必须遍历列表并计算对象或有更好的方法？

Answer 1

正如 Leo K 所说，bucket.objects.filter返回没有确定长度的可迭代对象。但是您可以使用 limit 方法来限制迭代。因此，如果您想检查列表中找到的一项，您可以使用以下内容：

results = bucket.objects.filter(Prefix=prefix_filter) if list(results.limit(1)): do_something() else: do_something_else()

Answer 2

bucket.objects.filter()（以及大多数其他返回对象集合的高级 boto3 调用）返回没有确定长度的可迭代对象。这是故意的，因为列表的潜在大小可能非常大。为了防止您的应用程序内存不足，它们永远不会一次全部加载 - 因此在您实际依次请求每个项目并到达最后之前，大小仍然未知。

如果您确定该列表很短，请使用 获取所有内容bucketObjects = list(bucketObjects)，但最好不要这样做。通过一次读取一个来计算它们：

c=0
for b in bucketObjects: c+=1

（如果您确实需要最大效率，请尝试使用低级 api:client=boto3.client('s3')并在几次调用中获取大块列表，或者如果您确定它不会太大，则立即获取整个列表；但这很少值得它）