将s3上的多个zip文件合并为更少的zip文件

Question

我们遇到一个问题,其中s3目录中的一些文件在~500MiB范围内,但许多其他文件是KiB和Bytes.我想将所有小文件合并到更少的大约500MiB的文件中.

什么是在s3文件夹中重写数据的最有效方法,而不必下载,在本地合并并推回到s3.是否有一些实用程序/ aws命令可以用来实现它？

Answer 1

S3是存储服务,没有计算能力.对于你的要求,你需要计算(合并).因此,如果不下载,合并和上传,您就无法做到您想要的.