aws s3 同步 vs rclone vs 其他什么？

Question

我需要将增量备份上传~250 tb到我的 aws s3 存储桶。

• 平均文件重量~1 gb
• 还有很多文件~30 mb

哪种工具更适合用于此任务？

Answer 1

您可以使用S3CMD将数据从本地计算机或任何具有终端访问权限的服务器复制到S3

在Ubuntu上

$ sudo apt-get install s3cmd

使用源安装最新的 s3cmd

$ wget https://sourceforge.net/projects/s3tools/files/s3cmd/2.2.0/s3cmd-2.2.0.tar.gz

$ tar xzf s3cmd-2.2.0.tar.gz

安装 s3cmd

$ cd s3cmd-2.2.0 
$ sudo python setup.py install

使用从 AWS 凭证生成的 Accesskey 和 Secret key 配置 s3cmd

$ s3cmd --configure 

列出完整的 S3 存储桶

$ s3cmd ls 

创建 S3 存储桶

$ s3cmd mb s3://bucket_name

将文件上传至存储桶

$ s3cmd put file.txt s3://bucket_name/

上传S3 Bucket中的完整目录

$ s3cmd put -r backups s3://bucket_name/

在包含文件夹的 S3 存储桶中上传完整目录

$ s3cmd put -r backups s3://bucket_name/folder_name/

使用 cronjob 自动上传 s3 中的备份

创建一个定时任务

$ crontab -e

添加以下cmd并保存文件

0 1 * * * s3cmd put -r backups s3://bucket_name/folder_name/backups_$(date +"%F %T")