如何改善上传到 Amazon S3 的缓慢

Question

我正在转换网站以将用户提交的照片和视频直接上传到 Amazon S3 而不是本地服务器。

当我处理小图像文件时，它似乎很好......但现在我尝试使用更大的图像，比如超过 1MB，上传速度太慢且无法使用。

克服这个问题的常用策略是什么？像 YouTube 这样的网站是先上传到他们的本地服务器，然后再转移到谷歌云之类的吗？如果我有数千个用户同时上传，我的本地服务器将无法存储这么多文件，因此我在意识到它有多慢之前转移到了 S3。

请问有什么建议吗？

Answer 1

我会采取以下步骤：

• 在 S3 存储桶上启用Transfer Acceleration。

• 将您的应用程序更改为分多个部分上传文件，使用 S3 Multipart Upload，并使用多线程一次上传多个部分。

Answer 2

就我而言，因为Too many log is printed in consoleAmazon S3 上传速度非常慢。上传 36MB 的文件需要 3 分钟。

2022-07-12T12:58:48 DEBUG - http-outgoing-2 >> "[0x98][\r][0xd3][0xe][0xf9][0xe][0x3][0xe][0xdf][0x9][0xde][0x5]0[0x4]F[0x1][0xaa][0xfd][0xb0][0xfa][0x8d][0xf8][0xfa][0xf9][0xde][0xfa][0xb7][0xf9]E[0xfa][0xf][0xfa]*[0xfb][0xce][0xfb][0xc4][0xfa][0xed][0xf9]X[0xfa][0xee][0xfb][0xfa][0xfc][0x8a][0xfd][0x10][0xff][0x94][0xff]:[0x1]L[0x5]$[0x8]Z[\n]" [org.apache.http.impl.conn.Wire:73]
2022-07-12T12:58:48 DEBUG - http-outgoing-2 >> "#[0xc]&[0xb][0xac][0x9]g[0x9]+[0x9][0xae][0x7][0xf2][0x5][0x11][0x6]8[0x5]<[0x3][0x13][0x0][0x9d][0xfe]7[0xff]%[0xfe][0xc2][0xfb]J[0xfa][0xac][0xf9][0x8b][0xf7]8[0xf4][0xc1][0xf1][0xdd][0xf0][[0xf1][0xb7][0xf3]/[0xf5]/[0xf7][0x8a][0xfb]J[0x2][0xe4][0x7][0xd1][\n]" [org.apache.http.impl.conn.Wire:73]
2022-07-12T12:58:48 DEBUG - http-outgoing-2 >> "[0xc2][0xc][0x99][\r],[\r][[0xe]T[\r][0x80][0x9][0x10][0x7][0xad][0x2]][0xfd][0x8f][0xf8]([0xf6]^[0xf4][0x96][0xf2]?[0xf0]D[0xef][0xb2][0xf0][0xac][0xf2][0xb3][0xf3][0xbc][0xf4],[0xf8]l[0xfb]l[0xff][0xfa][0x3][0x82][0x7][0xd8][\n]" [org.apache.http.impl.conn.Wire:73]
2022-07-12T12:58:48 DEBUG - http-outgoing-2 >> "[0xb3][\r][0xb7][\r][[\r]=[\r][0xf7][0xb][0xb3][\n]" [org.apache.http.impl.conn.Wire:73]
2022-07-12T12:58:48 DEBUG - http-outgoing-2 >> "([0xb][0x9c][\n]" [org.apache.http.impl.conn.Wire:73]
2022-07-12T12:58:48 DEBUG - http-outgoing-2 >> "5[\n]" [org.apache.http.impl.conn.Wire:73]
....

所以我关掉登录logback.xml

<logger name="org.apache.http.wire" level="WARN"/>

然后，36MB 文件的上传时间从 3 分钟缩短到 9 秒。