aws s3 ls 的 boto3 等效项是什么？

Question

我正在尝试使用 boto3 复制该命令aws s3 ls s3://bucket/prefix/。目前，我可以使用以下方式获取路径中的所有对象

s3 = boto3.client('s3')

bucket = "my-bucket"
prefix = "my-prefix"
paginator = s3.get_paginator('list_objects_v2')
page_iterator = paginator.paginate(Bucket=bucket, Prefix = prefix)

然后，我可以迭代 page_iterator 并手动重建该路径中的顶级目录。但是，由于路径内有大量对象，因此检索所有对象以重建此命令的结果对我来说大约需要 30 秒，而 AWS CLI 命令几乎是即时的。有没有更有效的方法来做到这一点？

Answer 1

您应该使用Delimiter选项list_objects_v2将具有公共前缀的任何对象分组在一起。这基本上就是aws s3 ls没有--recursive开关的情况：

import boto3
s3 = boto3.client('s3')
bucket = "my-bucket"
prefix = "my-prefix"

paginator = s3.get_paginator('list_objects_v2')

# List all objects, group objects with a common prefix
for page in paginator.paginate(Bucket=bucket, Prefix=prefix, Delimiter="/"):
    # CommonPrefixes and Contents might not be included in a page if there
    # are no items, so use .get() to return an empty list in that case
    for cur in page.get("CommonPrefixes", []):
        print("<PRE> " + cur["Prefix"])
    for cur in page.get("Contents", []):
        print(cur["Size"], cur["Key"])