有谁知道我可以放入S3存储桶的对象数量是否有限制?我可以把一百万,一千万等等都放在一个桶里吗?
我有一个项目,S3存储桶中将有大约8000万个对象。每天,我将删除约400万并增加400万。对象名称将采用伪目录结构:
/012345/0123456789abcdef0123456789abcdef
Run Code Online (Sandbox Code Playgroud)
对于删除,我将需要列出所有前缀为的对象012345/,然后将其删除。我担心此LIST操作将花费的时间。虽然显然S3对单个资产的访问时间不会增加单个对象的时间,但是我还没有发现任何明确的说法,即对80MM对象执行LIST操作,搜索10个都具有相同前缀的对象将在这种情况下保持快速。一个大桶。
在侧面评论有关可存储在存储桶中的最大对象数的问题(自2008年起):
以我的经验,随着对象数量的增加,LIST操作确实会(线性地)花费更长的时间,但这可能是Amazon服务器上所需的I / O数量增加以及连接到客户端的症状。
无论您使用多个存储桶还是仅使用几个存储桶,存储桶中可以存储的对象数量没有限制,性能也没有差异。您可以将所有对象存储在单个存储桶中,也可以跨多个存储桶组织它们。
尽管我倾向于相信Amazon文档,但并不清楚他们的评论针对的是什么操作。
在致力于这个昂贵的计划之前,我想明确地了解当存储桶包含数百万个对象时,按前缀搜索时的LIST操作是否保持快速。如果有人对大型水桶有真实的经验,我很想听听您的意见。