AWS S3 存储桶大小爆炸式增长，但我不知道如何

Question

我们的一个 S3 存储桶最近发生了一些事情：

我开始寻找所有这些额外内容的来源，但我收集的指标似乎与 CloudWatch（或我们的账单）中发生的情况不符。

存储桶有一些不同的键前缀（“文件夹”），所以我做的第一件事就是尝试确定它们中是否有任何一个对这个数字有显着贡献，如下所示：

aws s3 ls --summarize --human-readable --recursive s3://my-bucket/prefix

然而，似乎没有一个前缀包含大量数据，只不过是几 GB。

我终于尝试跑步

aws s3 ls --summarize --human-readable --recursive s3://my-bucket

...我的总大小约为 25GB。我是否在尝试查找“文件夹大小”时做错了事，或者误解了什么？我如何才能找到所有这些额外存储的使用位置（并找出正在运行的进程）？

Answer 1

它被中止了分段上传。默认情况下，S3 无限期地保留每个失败的分段上传的每个上传部分！一个进程失败并在没有明确清除失败的传输的情况下重试分段上传。

我们通过临时启用版本控制来解决此问题，设置生命周期规则以在 1 天后删除中止的分段上传块，然后等待一天，在块被清除后再次禁用版本控制。