如何从命令行访问Amazon S3上的文件？

Question

题:

有没有一种简单的方法可以直接从命令行访问存储在Amazon S3上的数据文件？

动机:

我正在松散地关注作者链接到以下URL 的在线教程:

s3://bml-data/churn-bigml-80.csv

这是一个简单的csv文件,但我无法使用我的网络浏览器打开它,或者使用curl.本教程使用BigML打开它,但我想为自己下载数据.一些谷歌搜索告诉我,有许多python和Scala库设计用于S3访问...但是更直接地打开或下载文件真的很不错.

我使用Mac并且是自制软件的忠实粉丝,所以完美的解决方案(对我来说)可以在这个系统上运行.

奖金问题:

有没有什么好方法可以看到Amazon E3存储桶的内容(我不拥有)？

文件的性质(特定数据集的80%)使我怀疑可能存在churn-bigml-20.csv隐藏在某处的文件.我的自动方法是尝试卷曲/打开预期的文件......第一个问题的解决方案将允许我以一种丑陋的方式检查这种预感.如果有人知道远程浏览特定S3存储桶的内容的方法,那将非常有用.再次,探索谷歌和SO告诉我,有这样的库,但更直接的方法将是有用的.

Answer 1

在AWS命令行界面(CLI)是用于管理AWS服务,包括访问Amazon S3存储数据的统一工具.

AWS命令行界面适用于Windows,Mac和Linux.

如果存储桶拥有者已授予公共权限ListBucket,则可以列出存储桶的内容,例如:

aws s3 ls s3://bml-data

如果存储桶拥有者已授予公共权限GetObject,则可以复制对象:

aws s3 cp s3://bml-data/churn-bigml-80.csv churn-bigml-80.csv

这两个命令对我来说都很成功.

也可以看看:

• AWS命令行界面文档