如何将数据从 EBS 卷传输到 S3 存储桶？

Question

我在 Amazon EBS 卷上有大约 400 GB 的数据，我需要在 S3 存储桶中使用这些数据以供 Hadoop EMR 使用。

如何将数据从 EBS 卷移动/复制到 S3 存储桶（S3 存储桶和 EBS 卷都在同一 AWS 区域中）？

谢谢

Answer 1

首先通过 IAM 在 AWS 上获取您的凭证：

转至 AWS/Services/IAM 选择用户并创建管理员。之后，下载您的 credentials.csv 并在 shell 中运行：

aws configure

输入您的访问密钥 ID 和秘密访问密钥。

然后将文件和文件夹从 EC2 中的 EBS 复制到 S3：

aws s3 sync /ebs-directory/ s3://your-bucket?

Answer 2

同时， AWS命令​​行界面是所有 AWS 事物的推荐选择：

AWS 命令​​行界面 (CLI) 是用于管理 AWS 服务的统一工具。只需下载和配置一种工具，您就可以从命令行控制多个 AWS 服务，并通过脚本实现自动化。

除了所有 AWS API 的统一方法之外，它还添加了一组新的简单文件命令，用于高效地与 Amazon S3 进行文件传输，其特征类似于众所周知的 Unix 命令，例如针对手头的任务：

• cp -将本地文件或 S3 对象复制到本地或 S3 中的另一个位置。
• 同步-同步目录和 S3 前缀。
• ...

这cp对于您的用例来说已经足够了，但也请务必检查一下sync，它对于许多经常遇到的场景特别强大（并且cp根据参数而有所暗示）。