有效地将许多小文件移动到 Amazon S3

Question

我有大约 60,000 个小图像文件（总大小为 200mb），我想将它们从我的项目存储库中移出到 Amazon S3。

我尝试过 s3fs ( http://code.google.com/p/s3fs/ )，通过 Mac OS X 上的传输以及 Amazon AWS S3 网络上传器安装 S3。不幸的是，所有这些似乎都需要很长时间，超过一两天才能完成任务。

有没有更好的办法？

Answer 1

Jeff Atwood 几年前发表了一篇题为“使用 Amazon S3 作为图像托管服务”的博客文章。他针对类似问题（图像托管通常包括托管许多小文件）的解决方案是使用S3Fox Organizer for Firefox。

为了解决之前的问题，Amazon S3 不允许您解压缩文件（为此，您需要下载、解压缩并重新上传）。