我现在正在迁移到Amazon S3,如何组织一百万个+文件?

And*_*son 6 amazon-s3

好吧,我正在从我的共享主机启动,我正在切换到来自Linode和Amazon S3 的VPS的组合来托管几百万个jpeg.

我最担心的是保持所有这些图像的某种理智.这有什么希望吗?我的理解是你只允许100"桶"和"桶"是S3中唯一的结构类型.

将几百万个文件放在一个你建议反对的文件中?

que*_*rin 6

您可能会注意到Bucket Restrictions and Limitations中的内容:

There is no limit to the number of objects that can be stored in a bucket
Run Code Online (Sandbox Code Playgroud)

我的经验是,单个存储桶中的大量对象不会影响通过其键获取单个对象的性能(也就是说,get似乎具有恒定的复杂性).

拥有大量对象也不会影响列出给定数量对象的速度:

List performance is not substantially affected by the total number of keys in your bucket
Run Code Online (Sandbox Code Playgroud)

但是,我必须警告你,我尝试访问具有大量对象的存储桶时,我使用的大多数S3管理工具(如S3Fox)都会窒息而死.似乎可以很好地处理大量对象的一个​​工具是S3浏览器(它们有免费版本和专业版,我不以任何方式与它们相关联).

使用"文件夹"或前缀,不会改变任何这些点(获取和列出给定数量的对象仍然是不变的,大多数工具仍然会自行落空并挂起).