如何将非常大的文件上传到S3?

Hel*_*lad 6 amazon-s3 amazon-web-services

我有一个大约100GB的postgres备份,并希望将其加载到欧盟法兰克福的S3并在云数据库中恢复它.

我无法访问AWS Import/Export服务.在Ubuntu笔记本电脑上

我尝试过的策略

1) management console upload, at least 2 weeks needed
2) bucket explore multi-upload, task failed due to java memory error every time
3) SDK multi-upload(boto, boto3, java SDK), do not show the progress bar. can not estimate how long it needs
4) other windows explore, do not have Linux version
Run Code Online (Sandbox Code Playgroud)

将此加载到S3的最快方法是什么?或python或java中的代码片段.非常感谢

小智 9

最简单的解决方案是使用AWS CLI(https://aws.amazon.com/de/cli/).

aws s3 cp /PATH_TO_BACKUP/BACKUP_FILE s3://BUCKETNAME
Run Code Online (Sandbox Code Playgroud)

  • 如果上传大文件之间的连接丢失,请说50 GB文件.是的,我们需要重新上传整个文件 (2认同)