我该怎么做才能加快S3上传/更新速度？

Question

我一直试图整天把一些小东西上传到s3.500个目录中约有20k个文件,总共约3GB.对于名为Simple Storage Service的服务来说,这是绝对合理的.我可以平均上传到不同的地方,速度约为500k/s - 1mb/s(1.8至3.6gb/h).我一直试图将这些文件整天上传到s3,我必须以汇总的速度上传(估计大约100 mb/h).

我试过了:

• s3 web控制台,在各种操作系统上有各种浏览器
• boto使用我编写的各种脚本,并在网上找到(主要是在SO上).

我希望你能帮我诊断的问题如下:

• 拖放到s3控制台(只是为了计算20k文件,需要一个小时).为什么？除非我能解决这个问题,否则Web控制台对我来说几乎没用.
• 上传本身非常慢,很快就超过100 k/s.
• 整天上传后我注意到文件名有一个简单的问题,不想再花上一整夜的时间,我使用了这个脚本: Amazon S3 boto:如何重命名存储桶中的文件？每个人都声称工作真的很快.它设法每2-3秒重命名约1 200kb文件.为什么？
• 上传后,将所有文件公开(使用Web控制台)花了4个小时仍然没有完成.

真的很令人沮丧,一定有一些我做错了.我希望一切工作速度提高10倍左右,但事实并非如此.我已经读过,如果拆分文件s3运行得更快,我已经读到该区域(我在纽约)非常重要.什么改变会给我上传速度最大的提升？

Answer 1

也许可以通过更改 AWS 服务器位置来解决上传连接速度慢的问题

我刚刚弄清楚，我的情况出了什么问题：上传持续时间（大小 35MB）

• 美国俄勒冈州 us-west-2：5-6 分钟
• 德国法兰克福欧盟中央车站：1 分钟！（这大约是我的最大连接）

我位于维也纳，而不是美国 -> 检查您的 AWS 服务器位置