aws s3 ls读取操作超时

Question

我尝试使用此命令从AWS S3存储桶中获取大量文件:

aws s3 ls --human-readable --recursive my-directory

这个目录包含数万个文件,所以有时,经过长时间的暂停,我收到这个错误:

('The read operation timed out',)

我尝试过--page-size不同值的参数,但没有帮助.我该如何解决这个错误？

Answer 1

在分布式系统中读取海量数据并不是明智之举。它是服务器上和客户端上的一个块。

如果您有数据存储方式的模式，请尝试并行运行它们，然后附加到单个文件。

例如，

aws s3 ls s3://bucket/year/month --recursive

希望能帮助到你。