结合wget和aws s3 cp上传数据到S3无需本地保存

Question

我有一个指向文件 (.tif) 的 url，我想将该文件上传到 Amazon S3。我目前wget使用aws s3 cplinux 命令行将文件下载到 EC2 实例，然后上传到 S3 存储桶。我想知道您是否可以直接将文件（不确定正确的命名法）通过管道传输到 S3，而无需先保存到 EC2 实例。

Answer 1

假设：

• <url> 是你要阅读的网址
• <s3_bucket> 是您要将文件加载到的 S3 存储桶的名称
• <s3_key> 是存储桶中的键（如文件名）

wget -qO- <url> | aws s3 cp - s3://<s3_bucket>/<s3_key>

第一部分抓取文件并输出到标准输出。第二部分从标准输出中读取并将其复制到指定的 S3 位置。