从 S3 并行下载文件(AWS .NET SDK)

tho*_*ean 7 amazon-s3 aws-sdk

我无法AmazonS3Client.GetObject并行下载文件。代码如下:

public async Task<string> ReadFile(string filename)
{
    string filePath = config.RootFolderPath + filename;
    var sw = Stopwatch.StartNew();
    Console.WriteLine(filePath + " - start");
    using (var response = await s3Client.GetObjectAsync(config.Bucket, filePath))
    {
        Console.WriteLine(filePath + " - request - " + sw.ElapsedMilliseconds);
        using (var reader = new StreamReader(response.ResponseStream))
        {
            return await reader.ReadToEndAsync();
        }
    }
}
Run Code Online (Sandbox Code Playgroud)

这是这样调用的:

var tasks = (from file in files select ReadFile(file)).ToArray();
await Task.WhenAll(tasks);
Run Code Online (Sandbox Code Playgroud)

这导致请求按顺序返回(尽管不是按顺序)。我阅读了大约 50 个小文件,因此GetObjectAsync最后一次阅读需要大约 25 秒的时间。相反,我希望我可以在 2-3 秒内读取 50 个文件。

我已经验证过:

  1. 我在任务池中。所以同步上下文不在混合中。我还在ConfigureAwait(false)任务中添加了一个,但这并没有像预期的那样产生影响。
  2. 我已经尝试了各种设置AmazonS3Client,比如使用 HTTP 协议或更改缓冲区大小。没有成功。
  3. 我添加了一个秒表来验证问题不在于读取响应流。但是,当不读取响应流时,整个方法会快速返回。