相关疑难解决方法(0)

S3限制桶中的对象

有谁知道我可以放入S3存储桶的对象数量是否有限制?我可以把一百万,一千万等等都放在一个桶里吗?

amazon-s3 amazon-web-services

77
推荐指数
4
解决办法
9万
查看次数

通过在单个存储桶中包含数百万个对象的前缀来实现LIST的S3性能

我有一个项目,S3存储桶中将有大约8000万个对象。每天,我将删除约400万并增加400万。对象名称将采用伪目录结构:

/012345/0123456789abcdef0123456789abcdef
Run Code Online (Sandbox Code Playgroud)

对于删除,我将需要列出所有前缀为的对象012345/,然后将其删除。我担心此LIST操作将花费的时间。虽然显然S3对单个资产的访问时间不会增加单个对象的时间,但是我还没有发现任何明确的说法,即对80MM对象执行LIST操作,搜索10个都具有相同前缀的对象将在这种情况下保持快速。一个大桶。

侧面评论有关可存储在存储桶中的最大对象数的问题(自2008年起):

以我的经验,随着对象数量的增加,LIST操作确实会(线性地)花费更长的时间,但这可能是Amazon服务器上所需的I / O数量增加以及连接到客户端的症状。

Amazon S3文档中

无论您使用多个存储桶还是仅使用几个存储桶,存储桶中可以存储的对象数量没有限制,性能也没有差异。您可以将所有对象存储在单个存储桶中,也可以跨多个存储桶组织它们。

尽管我倾向于相信Amazon文档,但并不清楚他们的评论针对的是什么操作。

在致力于这个昂贵的计划之前,我想明确地了解当存储桶包含数百万个对象时,按前缀搜索时的LIST操作是否保持快速。如果有人对大型水桶有真实的经验,我很想听听您的意见。

amazon-s3 amazon-web-services

5
推荐指数
1
解决办法
4662
查看次数

标签 统计

amazon-s3 ×2

amazon-web-services ×2