标签: task-parallel-library

在循环内启动任务:如何传递可在循环内更改的值?

我试图在while循环中使用TPL,我需要将一些值传递给任务然后更改为循环.例如,这里显示了一个增加索引的示例(必须在请求创建任务的行之后):

int index = 0;
Task[] tasks;
while(/*condition*/)
{
    tasks[index] = Task.Factory.StartNew(() => DoJob(index));
    index++;
}
Run Code Online (Sandbox Code Playgroud)

但当然它不起作用,因为索引值可以在任务开始之前递增.一个可能的解决方案可能是在递增索引之前传递一个等待的WaitHandle,并且必须在DoJob方法中发出信号,但在我看来这不是一个非常好的解决方案.还有其他想法吗?

c# task task-parallel-library

7
推荐指数
1
解决办法
4455
查看次数

Task.ContinueWith方法需要任务参数吗?

我有一个有两个方法的类,Load()和Process().我希望能够将这些单独作为后台任务或按顺序运行.我喜欢ContinueWith()语法,但我无法让它工作.我必须在我继续的方法上获取一个Task参数,并且在初始方法上不能有Task参数.

我想在没有lambda表达式的情况下做到这一点,但我是不是使用它们,强制在其中一个方法上创建任务参数,或者创建第三个方法LoadAndProcess()?

void Run()
{
    // doesn't work, but I'd like to do it
    //Task.Factory.StartNew(MethodNoArguments).ContinueWith(MethodNoArguments);

    Console.WriteLine("ContinueWith");
    Task.Factory.StartNew(MethodNoArguments).ContinueWith(MethodWithTaskArgument).Wait();

    Console.WriteLine("Lambda");
    Task.Factory.StartNew(() => { MethodNoArguments(); MethodNoArguments(); }).Wait();

    Console.WriteLine("ContinueWith Lambda");
    Task.Factory.StartNew(MethodNoArguments).ContinueWith(x => { 
            MethodNoArguments(); 
        }).Wait();
}

void MethodNoArguments()
{
    Console.WriteLine("MethodNoArguments()");
}

void MethodWithTaskArgument(Task t = null)
{
    Console.WriteLine("MethodWithTaskArgument()");
}
Run Code Online (Sandbox Code Playgroud)

c# multitasking task-parallel-library

7
推荐指数
2
解决办法
1万
查看次数

SynchronizationContext和ASP.NET Web API可扩展性点

当我们处理ASP.NET Web API中的一些可扩展性点时,我们还处理TAP(基于任务的编程模式).在某些方面,我们希望提供一个异步方法的延续,ContinueWith并在我们传递给委托的内部做一些事情ContinueWith.

布拉德·威尔逊解释这里深入了的SynchronizationContext是至关重要的,当我们提供延续.对我来说,我需要回到SynchronizationContextASP.NET Web API 的唯一地方是我需要使用的地方HttpContext.Current(这是我在ASP.NET Web API应用程序中永远不会做的事情)和地方我需要为线程设置一些信息,比如Thread.CurrentPrincipal.

所以问题是:我们是否想要回到SynchronizationContext我们在某些可扩展性点(例如消息处理程序,过滤器,格式化程序等)中提供延续的时候?

.net c# asynchronous task-parallel-library asp.net-web-api

7
推荐指数
1
解决办法
2607
查看次数

PLINQ查询给出溢出异常

我正在运行PLINQ查询,如下所示:

ParallelQuery<string> winningCombos = from n in nextComboMaker.GetNextCombo()
                                              .AsParallel().WithCancellation(_cancelSource.Token)
                                              where ComboWasAWinner(n) 
                                              select n;

ConcurrentBag<string> wins = new ConcurrentBag<string>();

foreach (var winningCombo in winningCombos)
{
        wins.Add(winningCombo);
        if (wins.Count == _maxWinsAllowed)
            break;
}
Run Code Online (Sandbox Code Playgroud)

GetNextCombo方法只返回下一个字母和数字组合,可能达到数十亿/万亿.

现在,当我选择一个大于Int32允许大小的组合范围时抛出异常,它总是在它运行的组合计数器为2147483584时抛出.

我已经确定GetNextCombo中没有任何东西通过创建一个假组合来每次返回(做一个收益率返回"234gf24fa23 ......"等)

LINQ抛出异常:

System.AggregateException was unhandled by user code
  Message=One or more errors occurred.
  Source=System.Core
  StackTrace:
       at System.Linq.Parallel.QueryTaskGroupState.QueryEnd(Boolean userInitiatedDispose)
       at System.Linq.Parallel.MergeExecutor`1.Execute[TKey](PartitionedStream`2 partitions, Boolean ignoreOutput, ParallelMergeOptions options, TaskScheduler taskScheduler, Boolean isOrdered, CancellationState cancellationState, Int32 queryId)
       at System.Linq.Parallel.PartitionedStreamMerger`1.Receive[TKey](PartitionedStream`2 partitionedStream)
       at System.Linq.Parallel.ForAllOperator`1.WrapPartitionedStream[TKey](PartitionedStream`2 inputStream, IPartitionedStreamRecipient`1 recipient, Boolean preferStriping, QuerySettings settings)
       at …
Run Code Online (Sandbox Code Playgroud)

c# linq plinq task-parallel-library

7
推荐指数
1
解决办法
1109
查看次数

TPL Parallel.For用于长时间运行的任务

我想在F#中使用任务并行库(TPL)来执行许多(> 1000)长时间运行的任务.这是我目前的代码:

Parallel.For(1, numberOfSets, fun j ->
    //Long running task here
    )
Run Code Online (Sandbox Code Playgroud)

当我开始这时,似乎.NET立即启动所有任务并在它们之间不断反弹.更好的是,如果它继续执行任务,直到完成任务,然后再转移到下一个任务.这将最小化上下文切换.

有没有办法为调度程序提供提示?我知道有可能提供提示,但我找不到明确的例子,或者调度程序已经很聪明,而且只是我认为存在太多的上下文切换.谢谢您的帮助!

.net parallel-processing f# task-parallel-library

7
推荐指数
2
解决办法
1385
查看次数

实现扩展方法WebRequest.GetResponseAsync并支持CancellationToken

这里的想法很简单,但实现有一些有趣的细微差别.这是我想在.NET 4中实现的扩展方法的签名.

public static Task<WebResponse> GetResponseAsync(this WebRequest request, CancellationToken token);
Run Code Online (Sandbox Code Playgroud)

这是我的初步实施.根据我的阅读,由于超时,可能需要取消 Web请求.除了该页面上描述的支持之外,request.Abort()如果通过该请求取消,我想要正确调用CancellationToken.

public static Task<WebResponse> GetResponseAsync(this WebRequest request, CancellationToken token)
{
    if (request == null)
        throw new ArgumentNullException("request");

    return Task.Factory.FromAsync<WebRequest, CancellationToken, WebResponse>(BeginGetResponse, request.EndGetResponse, request, token, null);
}

private static IAsyncResult BeginGetResponse(WebRequest request, CancellationToken token, AsyncCallback callback, object state)
{
    IAsyncResult asyncResult = request.BeginGetResponse(callback, state);
    if (!asyncResult.IsCompleted)
    {
        if (request.Timeout != Timeout.Infinite)
            ThreadPool.RegisterWaitForSingleObject(asyncResult.AsyncWaitHandle, WebRequestTimeoutCallback, request, request.Timeout, true);
        if (token != CancellationToken.None)
            ThreadPool.RegisterWaitForSingleObject(token.WaitHandle, …
Run Code Online (Sandbox Code Playgroud)

.net asynchronous httpwebrequest task-parallel-library cancellation

7
推荐指数
1
解决办法
2890
查看次数

如何使用C#中的TPL任务将工作编组到主线程上而不会导致死锁?

我正在编写一个消耗资源的库,无论出于什么原因,API的设计方式是在不同的线程上引发事件,但是必须在主线程上完成API的调用.

假设我尝试使用的API被定义为(我将省略事件定义):

public sealed class DodgyService
{
    public void MethodThatHasToBeCalledOnTheMainThread() { ... }
}
Run Code Online (Sandbox Code Playgroud)

为了使用这个API,我在我的库中添加了一个名为Service(Yup,非常原始名称)的服务,它将创建一个新任务(当我指定一个已经创建的TaskScheduler时,它将在主线程上运行SynchronizationContext).

这是我的实现:

public class Service
{
  private readonly TaskFactory _taskFactory;
  private readonly TaskScheduler _mainThreadScheduler;

  public Service(TaskFactory taskFactory, TaskScheduler mainThreadScheduler)
  {
      _taskFactory = taskFactory;
      _mainThreadScheduler = mainThreadScheduler;
  }

  // Assume this method can be called from any thread.
  // In this sample is called by the main thread but most of the time
  // the caller will be running on a background thread.
  public Task …
Run Code Online (Sandbox Code Playgroud)

.net c# multithreading task-parallel-library

7
推荐指数
2
解决办法
1457
查看次数

优化Akka.NET消息调度程序

我目前正试图找到Akka.NET的消息调度程序中的瓶颈(java/scala actor模型框架的端口)对于那些感兴趣的人,可以在这里找到:https://github.com/akkadotnet/akka.net

我们似乎可以扩展到8核,到目前为止一切似乎都很好.但是,当在较大的机器上运行时,一切都会最终崩溃.我们已经在16核计算机上测试了它,它可以很好地扩展到某个点,然后突然,消息吞吐量减半.

这张图片是在我的笔记本电脑上进行分析 Akka.NET分析 请参阅:http://i.stack.imgur.com/DxboR.png获取完整图像

.瓶颈是Task.Factory.StartNew,还是ConcurrentQueue.Enqueue?我不确定我是否正确阅读了这些数字.

以下是我们的邮件调度程序和邮箱如何工作的简要说明:

邮件发布到邮箱后,邮箱会检查邮箱当前是否正在处理邮件.如果它正在处理消息,它只是让当前运行的Task消耗新消息.

基本上,我们将一条消息发布到ConcurrentQueue,当前的邮箱运行将找到它.

如果邮件在发布邮件时当前处于空闲状态,那么我们将使用邮箱计划Task.Factory.StartNew(mailboxAction).

为了确保在任何给定时间只有一个任务针对特定邮箱运行,我们使用Interlocked检查来查看邮箱是忙还是空闲.互锁检查有效,这已经过广泛测试,因此我们知道我们不会为同一个邮箱启动多个任务.

有什么想法可能导致吞吐量完全打破16核心机器?在较小的机器上不会发生相同的效果,当它们无法再扩展时,它们在最大吞吐量时保持稳定.

我在16核心机器上验证的一件事是,邮箱似乎处理得太快,耗尽了actor消息队列中的所有消息,这将在新消息到达时引导邮箱的新调度.也就是说,消费者比生产者更快.

c# task-parallel-library akka.net

7
推荐指数
0
解决办法
1012
查看次数

将数据流拆分为小作业,然后再进行分组

我需要做这样的工作:

  1. 从数据库中获取Page对象
  2. 为每个页面获取所有图像并处理它们(IO绑定,例如,上传到CDN)
  3. 如果所有图像都成功完成,则将页面标记为在数据库中处理

由于我需要控制并行处理的页数,我决定使用TPL数据流:

 ____________________________
|         Data pipe          |
|   BufferBlock<Page>        |
|   BoundedCapacity = 1      |
|____________________________|
              |
 ____________________________
|       Process images       |
| TransformBlock<Page, Page> |
| BoundedCapacity = 1        |
| MaxDegreeOfParallelism = 8 |
|____________________________|
              |
 ____________________________
|        Save page           |
| ActionBlock<Page>          |
| BoundedCapacity = 1        |
| MaxDegreeOfParallelism = 5 |
|____________________________|
Run Code Online (Sandbox Code Playgroud)

现在我需要"过程图像"来并行处理图像,但我想限制我在当前工作中所有并行页面上处理的图像数量.

我可以将TrasnformManyBlock用于"过程图像",但如何在"保存页面"块中将它们收回?

         ____________________________
        |         Data pipe          |
        |   BufferBlock<Page>        |
        |   BoundedCapacity = 1      |
        |____________________________|
                      |
     ___________________________________
    |           Load …
Run Code Online (Sandbox Code Playgroud)

c# task-parallel-library tpl-dataflow

7
推荐指数
1
解决办法
1357
查看次数

取消task.delay无例外或使用异常来控制流量?

我不确定在代码中对事件作出反应的两种可能性.大多数情况下,我担心哪一个需要更少的资源.我有一个观察者注册的方法eventproducer.如果eventproducer返回某个东西,则该方法退出并且该方法的调用者再次启动该方法(您可以将其视为一种长轮询).

在eventproducer有时触发大量每秒的事件,有时休息几分钟.

第一种方法是等待500毫秒的延迟,然后检查是否有东西返回或以其他方式(直到超时5分钟)再次延迟500毫秒.

eventProducer.RegisterListener((events)=>{evList.Add(events)});
while(evList.Count=0 && !TimeOut){
    await Task.Delay(500);}
eventProducer.UnRegister(...);
// return evList, method gets recalled immediately
Run Code Online (Sandbox Code Playgroud)

第二种方法是使用a CancellationToken.如果eventproducer产生某些东西,则CancellationTokenSource取消源.在等待的方法中Task.Delay(5min, cancellationToken).

eventProducer.RegisterListener((events)=>{evList.Add(events);
                                          cancelSource.Cancel();}
try
{
     await Task.Delay(5min, cancellationToken)
}
catch(TaskCanceledException){//nothing to do};
eventProducer.UnRegister(...);
// return evList, method gets recalled immediately
Run Code Online (Sandbox Code Playgroud)

第二种方法的优点是,如果生产者生产某种东西,并且我们不必在循环中等待和唤醒,该方法立即返回.

但是,每当制作人产生某种东西时,第二种方法TaskCanceledException就是抛出.我担心这会比清醒更能影响系统负载,等待每500毫秒,尤其是当eventproducer产生大量事件时.

我是否过高估计抛出和捕获异常的成本?有没有办法取消Task.Delay一个CancellationToken但没有投掷TaskCanceledException?IE之类的东西task.setComplete?

c# asynchronous exception-handling task-parallel-library async-await

7
推荐指数
1
解决办法
3206
查看次数