标签: task-parallel-library

现在开始设计任务并行库还为时过早吗?

自微软首次宣布以来,我就一直关注着.NET任务并行库(TPL)的开发.

毫无疑问,我们最终会利用TPL.我在质疑的是,在发布Visual Studio 2010和.NET 4.0时是否有必要开始利用TPL,或者等待一段时间是否有意义.

为什么现在开始?

  • .NET 4.0任务并行库看起来设计得很好,一些相对简单的测试表明它在当今的多核CPU上运行良好.
  • 自从七年前购买我的第一台四核处理器Dell Poweredge 6400以来,我一直非常感兴趣使用多个轻量级线程来加速我们的软件.当时的实验表明它不值得付出努力,这主要归功于在每个CPU的缓存(当时没有共享缓存)和RAM之间移动数据的开销.
  • 竞争优势 - 我们的一些客户永远无法获得足够的性能,毫无疑问,我们现在可以使用TPL构建更快的产品.
  • 听起来很有趣.是的,我意识到一些开发人员宁愿用尖锐的棍子捅自己的眼睛,但我们真的很喜欢最大化性能.

干嘛要等?

  • 今天的英特尔Nehalem CPU代表了我们的目标,因为多核支持成熟了吗?您可以购买具有4个内核的Nehalem CPU,它们共享单个3级缓存,并且在Visual Studio 2010/.NET 4.0发布时,很可能是6核CPU共享单个3级缓存.显然,核心数量会随着时间的推移而增加,但架构呢?随着核心数量的增加,它们是否仍会共享缓存?Nehalem的一个问题是,即使内核之间存在非常快速的互连,它们也具有非均匀内存访问(NUMA),这会导致性能降低和结果可预测性降低.未来的多核架构是否能够取消NUMA?
  • 同样,.NET任务并行库是否会随着成熟而发生变化,需要修改代码才能充分利用它?

限制

  • 我们的核心引擎是100%C#,并且必须在没有完全信任的情况下运行,因此我们仅限于使用.NET API.

.net c# vb.net multicore task-parallel-library

11
推荐指数
1
解决办法
819
查看次数

.NET 4任务并行库可以使用COM对象吗?

这是"这是可能的,如果是这样,你能给我一个简单的例子,因为我找不到一个在线的吗?" 有点问题.

我有许多完全独立的(即"令人尴尬的并行")进程,我想使用C#在.NET Framework 4中使用任务并行库并行运行.其中一些过程需要使用可通过COM/OLE自动化访问的软件.

具体来说,有一个Parallel.Foreach()循环将任务从项列表中分开,基本上调用Parallel.Foreach中的不同函数来处理处理(因此其中一些函数使用COM库来工作).

这可能吗?谢谢.

c# com ole .net-4.0 task-parallel-library

11
推荐指数
1
解决办法
3970
查看次数

Task.Factory.FromAsync和BeginX/EndX之间的区别?

当使用TcpClient中的标准BeginRead和EndRead方法并使用Task.Factory.FromAsync时,我有非常相似的代码.

以下是一些示例..错误处理代码未显示.

Task.Factory.FromAsync:

private void Read(State state)
{
    Task<int> read = Task<int>.Factory.FromAsync(state.Stream.BeginRead, state.Stream.EndRead, state.Bytes, state.BytesRead, state.Bytes.Length - state.BytesRead, state, TaskCreationOptions.AttachedToParent);

    read.ContinueWith(FinishRead);
}

private void FinishRead(Task<int> read)
{
    State state = (State)read.AsyncState;

    state.BytesRead += read.Result;
}
Run Code Online (Sandbox Code Playgroud)

使用BeginRead和EndRead标准使用回调:

private void Read(State state)
{
    client.BeginRead(state.Bytes, state.BytesRead, state.Bytes.Length - state.Bytes.Read, FinishRead, state);
}

private void FinishRead(IAsyncResult async)
{
    State state = (State)async.AsyncState;

    state.BytesRead += state.Stream.EndRead(async);
}
Run Code Online (Sandbox Code Playgroud)

这两个都很好,但我很好奇他们的差异.两者的代码行几乎相同,它们似乎都执行完全相同的功能并具有相同的效率.哪个更好?您更喜欢在生产代码中看到什么?

.net c# asynchronous task-parallel-library

11
推荐指数
1
解决办法
2961
查看次数

使用TPL处理异常而不使用Wait()

我有一个带有"开始"和"停止"按钮的应用程序,以及在按下"开始"后在后台运行的线程.我使用MVC和TPL.

我如何处理TPL中的异常,因为我从不调用Wait()方法?在任何异常我需要显示错误消息框,这个框应该在它被立即抛出后显示.

我总是在后台单线程,所以你不能在没有先前停止线程的情况下按下Start.

我正在寻找一些好的模式或最佳实践.我有一个想法,将try..catch放在线程内部,并在每个catch上调用一个事件,但我不确定这样的方法是否是好的架构决策

.net c# exception-handling task-parallel-library

11
推荐指数
1
解决办法
4562
查看次数

安全地停止长时间运行的任务

我的问题是如何停止长时间运行的任务(.net 4)?我已经实现了TPL并尝试使用CancellationTokenSource,但它似乎不适用于我的场景.我见过的所有例子都假设你在while循环中工作,这样你就可以检查任务是否已被取消,而我只需要一个需要很长时间的操作.我不能等待工作完成,因为我需要假设它可能永远不会完成.这是我尝试过的代码:

        bool? result = null;

        var cs = new CancellationTokenSource();
        var ct = cs.Token;

        var doWorkTask = new Task(() =>
        {
            Console.WriteLine("start dowork task");

            result = Work.LongRunning();
         }, ct);

        doWorkTask.Start();

        Task.WaitAny(new Task[] { doWorkTask }, timetowait);

        if (doWorkTask.IsCompleted)
        {
        Console.WriteLine("dowork task completed");

            doWorkTask.Dispose();
        }
        else
        {
        Console.WriteLine("dowork task has timedout");

            cs.Cancel();

            throw new TimeoutException("Timeout hit.");
        }
Run Code Online (Sandbox Code Playgroud)

代码可以工作但是如果"超时"发生并且正在完成的工作访问"非托管代码"即资源,则永远不会处理任务.那说IsCancelledRequested不能在Work.LongRunning()中使用,所以我不能ThrowIfCancellationRequested.

我对其他想法持开放态度,并且我尝试过BackgroundWorker,但这似乎也不合适.

新例子:

var service = new System.ServiceProcess.ServiceController(ServiceName, ServerName);

        var serviceTask = Task.Factory.StartNew(() =>
        {
            result = (service.Status == ServiceControllerStatus.Running
                 || service.Status == …
Run Code Online (Sandbox Code Playgroud)

c# timeout task-parallel-library

11
推荐指数
1
解决办法
1万
查看次数

任务与TPL数据流与异步/等待,何时使用?

我已阅读了许多技术文档,其中包括一些Microsoft团队或其他作者详细介绍了新TPL Dataflow库的功能,async/await并发框架和TPL.但是,我并没有真正遇到任何明确描述使用时间的内容.我知道每个都有自己的位置和适用性,但我特别想知道以下情况:

我有一个完全在进程中运行的数据流模型.在顶部是数据生成组件(A),它生成数据并通过数据流块链接或通过将事件提升到处理组件(B)来传递数据.(B)中的某些部分必须同步运行,而(A)大量受益于并行性,因为大多数进程是I/O或CPU绑定的(从磁盘读取二进制数据,然后对它们进行反序列化和排序).最后,处理组件(B)将转换后的结果传递给(C)以供进一步使用.

我特别想知道何时使用任务,async/await和TPL数据流块以下内容:

  • 启动数据生成组件(A).我显然不想锁定gui /仪表板,因此这个过程必须在某个不同的线程/任务上运行.

  • 如何在(A),(B)和(C)中调用不直接参与数据生成和处理过程但执行可能需要几百毫秒/秒返回的配置工作的方法.我的预感是,这是async/await闪耀的地方?

  • 我最挣扎的是如何最好地设计从一个组件传递到下一个组件的消息.TPL Dataflow看起来非常有趣,但有时候我的目的太慢了.(最后请注意性能问题).如果不使用TPL Dataflow,如何通过进程间任务/并发数据传递实现响应性和并发性?例如,如果我在一个任务中引发一个事件,订阅的事件处理程序在同一个任务中运行而不是传递给另一个任务,那么对吗?总之,组件(A)在将数据传递给组件(B)之后如何进行业务,而组件(B)检索数据并专注于处理数据?这里最好使用哪种并发模型?我在这里实现了数据流块,但这真的是最好的方法吗?

  • 我想总结上面的要点是我在如何使用标准实践设计和实现API类型组件方面的努力?方法是否应设计为异步,数据输入为数据流块,数据输出为数据流块还是事件?一般来说最好的方法是什么?我问,因为上面提到的大多数组件都应该独立工作,因此它们基本上可以在内部交换或独立更改,而无需重新编写访问器和输出.

关于性能的注意事项:我提到TPL Dataflow块有时很慢.我处理高吞吐量,低延迟类型的应用程序和目标磁盘I/O限制,因此tpl数据流块通常比例如同步处理单元执行得慢得多.问题是我不知道如何将进程嵌入到自己的任务或并发模型中,以实现与tpl数据流块已经处理的类似的东西,但没有tpl df带来的开销.

task-parallel-library async-await tpl-dataflow

11
推荐指数
1
解决办法
3636
查看次数

哪里可以找到4.0的TPL数据流版本?

我正在寻找TPL数据流库的.NET 4.0版本.

Nuget包有一个4.0版本的库,但它似乎以.NET 4.5为目标.

我发现了4.0版本的各种引用,就像在这个论坛中一样:

http://social.msdn.microsoft.com/Forums/en-US/tpldataflow/thread/6206c714-6dee-4d17-a880-26d0c137a167

但是提到的链接只是将我重定向到库的Nuget页面.

有谁知道我在哪里可以找到一个针对.NET 4.0的工作版本?

.net .net-4.0 task-parallel-library nuget tpl-dataflow

11
推荐指数
1
解决办法
4323
查看次数

清理TPL中的CallContext

根据我是使用基于异步/等待的代码还是基于TPL的代码,我在逻辑清理方面有两种不同的行为CallContext.

CallContext如果我使用以下async/await代码,我可以完全按照我的预期设置和清除逻辑:

class Program
{
    static async Task DoSomething()
    {
        CallContext.LogicalSetData("hello", "world");

        await Task.Run(() =>
            Debug.WriteLine(new
            {
                Place = "Task.Run",
                Id = Thread.CurrentThread.ManagedThreadId,
                Msg = CallContext.LogicalGetData("hello")
            }))
            .ContinueWith((t) =>
                CallContext.FreeNamedDataSlot("hello")
                );

        return;
    }

    static void Main(string[] args)
    {
        DoSomething().Wait();

        Debug.WriteLine(new
        {
            Place = "Main",
            Id = Thread.CurrentThread.ManagedThreadId,
            Msg = CallContext.LogicalGetData("hello")
        });

    }
}
Run Code Online (Sandbox Code Playgroud)

以上输出如下:

{Place = Task.Run,​​Id = 9,Msg = world}
{Place = Main,Id = 8,Msg =}

注意,Msg =这表明CallContext主线程已被释放且为空.

但是,当我切换到纯TPL/TAP代码时,我无法达到同样的效果......

class Program
{ …
Run Code Online (Sandbox Code Playgroud)

c# asynchronous task task-parallel-library async-await

11
推荐指数
2
解决办法
3111
查看次数

忽略在Task.WhenAll上抛出异常的任务,只获取完成的结果

我正在处理一个任务并行问题,我有许多任务可能会或可能不会抛出异常.

我想处理所有正确完成的任务并记录其余的任务.在Task.WaitAll不允许我收集其余结果的情况下支持Task异常.

    static readonly Task<string> NormalTask1 = Task.FromResult("Task result 1");
    static readonly Task<string> NormalTask2 = Task.FromResult("Task result 2");
    static readonly Task<string> ExceptionTk = Task.FromException<string>(new Exception("Bad Task"));
    var results = await Task.WaitAll(new []{ NormalTask1,NormalTask2,ExceptionTk});
Run Code Online (Sandbox Code Playgroud)

在Task.Waitall 与抛出的异常ExcceptionTk忽略其它结果.我怎样才能得到忽略异常的结果并同时记录异常?

我可以将任务包装到try{...}catch(){...}内部异常的另一个任务中,但我无法访问它们,我希望我不必添加这个开销.

.net c# exception task task-parallel-library

11
推荐指数
2
解决办法
4126
查看次数

catch没有捕获多线程错误

以下是一个完整的控制台程序,它重现了我遇到的一个奇怪的错误.该程序读取包含远程文件URL的文件,每行一个.它会激活50个线程来下载它们.

static void Main(string[] args)
{
    try
    {
        string filePath = ConfigurationManager.AppSettings["filePath"],
            folder = ConfigurationManager.AppSettings["folder"];
        Directory.CreateDirectory(folder);
        List<string> urls = File.ReadAllLines(filePath).Take(10000).ToList();

        int urlIX = -1;
        Task.WaitAll(Enumerable.Range(0, 50).Select(x => Task.Factory.StartNew(() =>
          {
              while (true)
              {
                  int curUrlIX = Interlocked.Increment(ref urlIX);
                  if (curUrlIX >= urls.Count)
                      break;
                  string url = urls[curUrlIX];
                  try
                  {
                      var req = (HttpWebRequest)WebRequest.Create(url);
                      using (var res = (HttpWebResponse)req.GetResponse())
                      using (var resStream = res.GetResponseStream())
                      using (var fileStream = File.Create(Path.Combine(folder, Guid.NewGuid() + url.Substring(url.LastIndexOf('.')))))
                          resStream.CopyTo(fileStream);
                  }
                  catch (Exception ex)
                  {
                      Console.WriteLine("Error downloading img: …
Run Code Online (Sandbox Code Playgroud)

c# multithreading task-parallel-library

11
推荐指数
2
解决办法
505
查看次数