如何在云存储中组织大量对象?

use*_*564 1 google-cloud-storage

我正在寻找有关如何组织大量对象的建议.

假设传入速率大约是每天60,000,000个文件,我想保留它们180天.

使用每小时分区,顶层将有4320(24*180)个目录.每个目录平均包含~2,500,000个文件.

如果我只需要按照其完整路径单独获取文件而我不需要列出目录的内容,那么将所有250000个文件保留在同一级别是否有任何问题?

或者我应该散列文件名并将它们存储在多个子目录中?(如果存储在传统文件系统中通常如何完成)

Mik*_*rtz 6

您可以在存储桶中存储的对象数量没有限制,将对象分解为更多"子目录"不会产生任何可伸缩性或性能差异.对于Google云端存储服务,所有对象名称都是平面的:路径中的"/"看起来就像对象名称中的任何其他字符.

Google云端存储团队Mike Schwartz