S3:如何上传大量文件

Question

我必须上传100k小文件(总大小:200MB).

我试图通过网络浏览器(AWS控制台)这样做,但在前15分钟,我只上传了2MB.

将100k小文件上传到S3的最快方法是什么？

Answer 1

我有 99,561 个小文件，总大小为 466MB，并尝试将这些文件从我的m4.16xlarge（64 个 CPU）EC2 实例尽快上传到 S3 。

• aws s3 sync 花了 10 分钟
• Cyber​​Duck 承诺需要 17 分钟，但挂了。我在 45 分钟后终止了它。
• CloudBerry 乍一看好像只有windows，所以没测试。
• s3-parallel-put --put=stupid 花了 9 分钟
• s3-parallel-put --put=stupid --processes=64 花了 1 分钟
• s3-parallel-put --put=stupid --processes=256 花了 19 秒
• s3-parallel-put --put=stupid --processes=512 花了 18 秒

我将继续推进s3-parallel-put解决方案。

Answer 2

安装AWS CLI工具,然后使用aws s3 cp命令或aws s3 sync命令将所有文件上载到S3.

或者,您可以考虑使用第三方S3客户端,例如Cyber​​duck和CloudBerry Explorer.