在ec2上解压缩文件并将其保存在S3上？

Question

我有一个大约20 GB的zip文件,包含大约400,000个图像,我可以使用它移动到我的EC2实例wget.现在我想解压缩文件并将它们保存到我的S3中.

如果我不需要首先将它们解压缩到ec2,那将是很好的.我可以通过SSH以某种方式unzip -options将每个文件提取到S3吗？

我找到了这样的答案/sf/answers/680549901/.但是我并没有理解他将"解压缩到S3"的含义.我可以通过SSH连接到我的EC2实例吗？亚马逊是否有某种构建的解压缩命令将其提取到s3而不是当前的服务器？

我可以看到其他人已经问过这个问题,但是我无法直接回答如何实际做到这一点.

Answer 1

我是如何解决的:

1. 我在我的EC2实例上创建了一个辅助卷,以便为文件x3左右提供空间,还包括提取文件的空间.请参阅此处的指南:http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-add-volume-to-instance.html
2. 通过SSH连接到EC2实例,我使用该unzip命令将文件解压缩到新卷.
3. 我曾经aws s3 cp myfolder s3://mybucket/myfolder --recursive将所有文件都移到S3存储桶中.
4. 我删除了我的临时卷及其上的所有文件.

一切都是使用SSH完成的.无需脚本或编程.

请记住,您需要使用sudo权限来执行许多操作.