如何获取S3存储桶上每个文件夹的总对象和总存储量

Question

我有一个名为S3的存储桶camera-assets,在该存储桶中,每个摄像头都有一个单独的文件夹,每个文件夹包含数百万/数十亿个文件.我想在我的存储桶中获取每个文件夹的总数量和存储空间.

我尝试了以下CLI命令:

aws s3api list-objects --bucket camera-assets --prefix 1011-front-external/snapshots/ --output json --query "[sum(Contents[].Size), length(Contents[])]"

但未能得到结果,因为文件夹有数百万/亿的文件.如果只有几个文件,它可以工作.

请帮助我获取文件数和存储空间.

Answer 1

AWS命令行界面工具有--summarize选项(必须与之一起使用--recursive),它显示了对象数和总大小:

$ aws s3 ls s3://camera-assets --summarize --recursive
   ...
Total Objects: xx
   Total Size: xx