如何在AWS S3存储桶中查找重复文件?

Bor*_*lis 3 linux amazon-s3 duplicates amazon-ec2 amazon-web-services

有没有办法在Amazon S3存储桶中递归查找重复文件?在普通的文件系统中,我只想使用:

fdupes -r /my/directory
Run Code Online (Sandbox Code Playgroud)

Joh*_*ein 10

Amazon S3中没有"find duplicatelicates"命令.

但是,您确实执行以下操作:

  • 检索存储桶中的对象列表
  • 寻找具有相同 ETag(校验和)和的对象Size

他们(很可能)是重复的对象.