Boto3 put_object() 非常慢

Question

TL;DR：尝试使用 Boto3 将 .json 文件放入 S3 存储桶，过程非常慢。寻找加快速度的方法。

这是我关于SO的第一个问题，所以如果我遗漏了任何重要的细节，我深表歉意。本质上，我试图从 Elasticsearch 中提取数据并使用 Boto3 将其存储在 S3 存储桶中。我参考这篇文章使用ES Python客户端的滚动功能拉取多页ES数据。当我滚动时，我正在处理数据并将其以 [timestamp].json 格式放入存储桶中，使用以下命令：

    s3 = boto3.resource('s3')
    data = '{"some":"json","test":"data"}'
    key = "path/to/my/file/[timestamp].json"      
    s3.Bucket('my_bucket').put_object(Key=key, Body=data)

在我的机器上运行这个程序时，我注意到这个过程非常慢。使用line profiler，我发现这一行消耗了整个程序 96% 以上的时间：

    s3.Bucket('my_bucket').put_object(Key=key, Body=data)

我可以进行哪些修改来加快此过程？请记住，我在程序中创建 .json 文件（每个文件约为 240 字节）并将它们直接流式传输到 S3，而不是在本地保存并上传文件。提前致谢。

Answer 1

由于您可能会上传许多小文件，因此您应该考虑以下几点：

• 某种形式的线程/多重处理。例如，您可以查看如何使用 Python 高效地将小文件上传到 Amazon S3
• 创建某种形式的存档文件 (ZIP)，其中包含小数据块集并将它们作为较大文件上传。这当然取决于您的访问模式。如果您选择此路线，请务必使用 boto3upload_file或upload_fileobj方法，因为它们将处理多部分上传和线程。
• S3 性能影响如请求率和性能注意事项中所述