我无法AmazonS3Client.GetObject
并行下载文件。代码如下:
public async Task<string> ReadFile(string filename)
{
string filePath = config.RootFolderPath + filename;
var sw = Stopwatch.StartNew();
Console.WriteLine(filePath + " - start");
using (var response = await s3Client.GetObjectAsync(config.Bucket, filePath))
{
Console.WriteLine(filePath + " - request - " + sw.ElapsedMilliseconds);
using (var reader = new StreamReader(response.ResponseStream))
{
return await reader.ReadToEndAsync();
}
}
}
Run Code Online (Sandbox Code Playgroud)
这是这样调用的:
var tasks = (from file in files select ReadFile(file)).ToArray();
await Task.WhenAll(tasks);
Run Code Online (Sandbox Code Playgroud)
这导致请求按顺序返回(尽管不是按顺序)。我阅读了大约 50 个小文件,因此GetObjectAsync
最后一次阅读需要大约 25 秒的时间。相反,我希望我可以在 2-3 秒内读取 50 个文件。
我已经验证过:
ConfigureAwait(false)
任务中添加了一个,但这并没有像预期的那样产生影响。AmazonS3Client
,比如使用 HTTP 协议或更改缓冲区大小。没有成功。