用于将特定文件从 S3 复制到本地或 hdfs 的 AWS CLI 命令

Question

我正在尝试将一些文件的列表从我的 S3 存储桶复制到本地，或者我的hdfs.My存储桶有超过 220000 个对象，我只想将文件从 开始复制abc2018-到我的本地系统。文件列表abc2018-超过20k。我刚刚获取了一个示例文件并尝试使用以下命令复制它，并且成功了： s3cmd get "s3://bucketname/abc2018-01-02.txt" ~/

如果我想将所有带有 abc2018- 的文件复制到主文件夹中，我没有选择。我需要编写任何脚本吗？或者可以使用 s3cmd 本身来实现吗？

Answer 1

您可以尝试使用 AWC Cli：

    aws s3 cp s3://bucketname/ ~/ --exclude "*" --include "abc2018-*" --recursive

该命令仅复制您想要的模式。享受！