如何尽快有效地发出数千个Web请求

Question

我需要从C＃控制台应用程序发出100,000个轻量级（即小的Content-Length）Web请求。我这样做的最快方法是什么（即在最短的时间内完成所有请求），我应该遵循哪些最佳实践？我无法解雇并忘记，因为我需要捕获响应。

大概我想使用asyncWeb请求方法，但是我想知道存储所有Task连续和编组的开销会产生什么影响。

内存消耗不是一个整体问题，目标是速度。

大概我也想利用所有可用的内核。

所以我可以做这样的事情：

Parallel.ForEach(iterations, i =>
{
    var response = await MakeRequest(i);
    // do thing with response
});

但这不会让我比内核数量更快...

我可以：

Parallel.ForEach(iterations, i =>
{
    var response = MakeRequest(i);
    response.GetAwaiter().OnCompleted(() =>
    {
        // do thing with response
    });
});

但是如何使我的程序在ForEach。握住所有Tasks和WhenAll荷兰国际集团他们觉得胀，是否有任何现有的模式或佣工有某种任务队列？

有什么方法可以使情况变得更好，如何处理节流/错误检测？例如，如果远程端点响应缓慢，我不想继续向其发送垃圾邮件

我了解我也需要这样做：

ServicePointManager.DefaultConnectionLimit = int.MaxValue

还有什么需要的吗？

Answer 1

该类Parallel不适用于异步循环体，因此您无法使用它。您的循环体几乎立即完成并返回一个任务。这里没有并行性的好处。

这是一个非常简单的问题。使用一个标准解决方案来使用给定的 DOP 异步处理一系列项目（这个很好：http ://blogs.msdn.com/b/pfxteam/archive/2012/03/05/10278165.aspx 。使用最后一段代码）。

您需要凭经验确定正确的 DOP。只需尝试不同的值即可。没有理论上的方法可以得出最佳价值，因为它取决于很多因素。

连接限制是您遇到的唯一限制。

response.GetAwaiter().OnCompleted

不确定你试图在那里完成什么......如果你发表评论，我会解释这个误解。