限制任务并行库中的线程数

Question

我有几百个文件需要上传到Azure Blob存储.
我想使用并行任务库.
但是,如何在foreach文件列表中运行所有100个线程上传,我如何限制它可以使用的最大线程数并并行完成作业.还是自动平衡事物？

Answer 1

你根本不应该使用线程.有一个Task基于API的API,它自然是异步的:CloudBlockBlob.UploadFromFileAsync.与它一起使用async/await并SemaphoreSlim限制并行上传的数量.

示例(未经测试):

const MAX_PARALLEL_UPLOADS = 5;

async Task UploadFiles()
{
    var files = new List<string>();
    // ... add files to the list

    // init the blob block and
    // upload files asynchronously
    using (var blobBlock = new CloudBlockBlob(url, credentials))
    using (var semaphore = new SemaphoreSlim(MAX_PARALLEL_UPLOADS))
    {
        var tasks = files.Select(async(filename) => 
        {
            await semaphore.WaitAsync();
            try
            {
                await blobBlock.UploadFromFileAsync(filename, FileMode.Create);
            }
            finally
            {
                semaphore.Release();
            }
        }).ToArray();

        await Task.WhenAll(tasks);
    }
}