Parallel.ForEach中的WebClient.DownloadFile()

Question

这段代码工作正常:

Parallel.ForEach(photos, item =>
            {
                WebClient webClient = new WebClient();
                webClient.DownloadFile(item.src_big, "C:\\pic" + item.ID + ".jpg");
            });

虽然此代码抛出"WebClient请求期间发生异常".:

foreach (Photo p in photos)
        {
            Task.Factory.StartNew(() =>
                {
                    WebClient webClient = new WebClient();
                    webClient.DownloadFile(p.src_big, "C:\\pic" + p.ID + ".jpg");
                });
        }

我有两个问题:

1)在第一个代码中,我使用多个WebClient对象进行下载.第二个代码也是如此,为什么我会得到异常呢？

2)我正在尝试这两个版本来确定什么是下载照片的最快方式,在我的情况下从Facebook.我想知道是否有另一种方法更快,也许WebRequest.Create()？

Answer 1

你在第二种情况下关闭循环变量 - 试试这个:

foreach (Photo p in photos)
        {
            Photo photo = p;
            Task.Factory.StartNew(() =>
                {
                    WebClient webClient = new WebClient();
                    webClient.DownloadFile(photo.src_big, "C:\\pic" + photo.ID + ".jpg");
                });
        }

另外Parallel.ForEach()是同步的-它已被执行之后,所有文件都被下载.另一方面,任务可能仍在进行中,因此您必须等待它们完成,可能这样的事情更适合第二种情况:

var tasks = photos.Select(  p => Task.Factory.StartNew(() =>
        {
            using(WebClient webClient = new WebClient())
            webClient.DownloadFile(p.src_big, string.Format(@"C:\pic{0}.jpg",p.ID));
        })).ToArray();
Task.WaitAll(tasks);

正如你Parallel.ForEach()在这种情况下所看到的那样,因为语法非常简洁,所以它们都使用线程池,所以选择你可以使用的最简单的选项,特别是因为你不需要增加复杂性.

此外,我认为你不会使用一个更快的数据WebRequest- 大多数延迟将由网络/互联网引起,而不是你选择的两个 - 这是我选择更简单的代码的情况,这绝对是使用的WebClient.

概括起来:我会去Parallel.ForEach()用WebClient,选项1.