我在7500多个对象上运行一个Parallel.For循环.在for循环中,我正在为每个对象做很多事情,特别是调用两个Web服务和两个内部方法.Web服务只是检查对象,处理并返回一个字符串,然后我将其设置为对象上的属性.两种内部方法也是如此.
我没有写任何东西到磁盘或从磁盘读取.
我还在带有标签和进度条的winforms应用程序中更新UI,以便让用户知道它在哪里.这是代码:
var task = Task.Factory.StartNew(() =>
{
Parallel.For(0, upperLimit, (i, loopState) =>
{
if (cancellationToken.IsCancellationRequested)
loopState.Stop();
lblProgressBar.Invoke(
(Action)
(() => lblProgressBar.Text = string.Format("Processing record {0} of {1}.", (progressCounter++), upperLimit)));
progByStep.Invoke(
(Action)
(() => progByStep.Value = (progressCounter - 1)));
CallSvc1(entity[i]);
Conversion1(entity[i]);
CallSvc2(entity[i]);
Conversion2(entity[i]);
});
}, cancellationToken);
Run Code Online (Sandbox Code Playgroud)
这是在Win7 32位机器上进行的.
关于为什么当增量器大约在1370左右时突然冻结的任何想法(这是1361,1365和1371)?
关于如何调试这个并看看有什么锁定的任何想法?
编辑:
以下评论的一些答案:
@BrokenGlass - 不,没有互操作.我将尝试x86编译并让你知道.
@chibacity - 因为它是在后台任务上,所以它不会冻结UI.直到它冻结的时间,进度条和标签每秒大约2点.当它冻结时,它就会停止移动.我可以验证它停止的号码是否已被处理,但不再处理.双核2.2GHz的CPU使用率在运行期间最低,每次3-4%,冻结后1-2%.
@Henk Holterman - 到达1360需要大约10-12分钟,是的,我可以验证所有这些记录是否已经处理但不是剩余的记录.
@CodeInChaos - 谢谢,我会试试!如果我拿出并行代码,代码确实有用,它只需要一天又一天.我没有尝试过限制线程数,但是会.
编辑2:
关于Web服务发生了什么的一些细节
基本上,Web服务正在发生的是它们传递一些数据并接收数据(XmlNode).然后在Conversion1进程中使用该节点,该进程又在实体上设置另一个属性,该属性被发送到CallSvc2方法,依此类推.它看起来像这样:
private void CallSvc1(Entity entity)
{
var svc = new MyWebService();
var …Run Code Online (Sandbox Code Playgroud) 我在不同的任务上运行一个非常典型的生产者/消费者模型
Task1:从二进制文件中读取一批byte [],并为每个字节数组集合启动一个新任务.(该操作是为了内存管理目的而批量处理的).
任务2-n:这些是工作任务,每个都在字节数组的传入集合(来自Tasks1)上运行,并对字节数组进行反序列化,按特定条件对它们进行排序,然后存储结果对象的集合(每个字节数组)在"并发字典"中反序列化为此类对象.
任务(n + 1)我选择了并发字典,因为此任务的工作是以与它们来自Task1的顺序相同的顺序合并存储在并发字典中的那些集合.我通过传递一个collectionID(它是int类型并为Task1中的每个新集合递增)从Task1到此任务一直向下实现.此任务基本上检查下一个预期的collectionID是否已存储在并发字典中,如果是,则将其取出,将其添加到Final Queue并检查并发字典中的下一个集合.
现在,从我所看到的和我观看的视频看来,TPL Dataflow可能是这种生产者/消费者模型的完美候选者.我似乎无法设计并因此开始,因为我从未使用过TPL Dataflow.在吞吐量和延迟方面,这个库甚至可以完成任务吗?我目前处理250万字节数组,因此在生成的集合中每秒处理对象.TPL Dataflow可以帮助简化吗?我对以下问题的答案特别感兴趣:TPL Dataflow可以在产生工作任务时保留Task1中的集合批次的顺序,并在工作任务完成后重新合并它们吗?它是否优化了什么?在对整个结构进行分析之后,我觉得由于旋转和涉及太多并发集合而浪费了相当多的时间.
任何想法,想法?
c# concurrency producer-consumer task-parallel-library tpl-dataflow
我正在使用TPL使用该函数将新任务添加到系统线程池Task.Factory.StartNew().唯一的问题是我添加了很多线程,我认为它为我的处理器创造了太多的处理能力.有没有办法在此线程池中设置最大线程数?
我在TPL上阅读了很多内容,并找出了我们可以使用取消机制的方法.但是我被WaitHandle困住了.
如果我想取消任务,我可以定义CancellationTokenSource并将其与任务一起传递,我可以使用ThrowIfCancellationRequested方法取消任务.
我的问题是当我需要使用WaitHandle进行取消时,以及为什么简单的取消在这种情况下无效?
编辑 MSDN链接:http://msdn.microsoft.com/en-us/library/dd997364 ..看看使用WaitHandle听...
刚刚学习TPL ..
请帮忙..
出于好奇,我想知道.NET任务调度程序支持多少个处理器内核.
Windows Server 2012最多支持640个核心.(是).NET限制为64还是会使用所有可用内核?
什么是.NET 4.0中await关键字的最佳替代方案?我有一个方法,需要在异步操作后返回一个值.我注意到wait()方法完全阻塞了线程,从而使异步操作无效.在释放UI线程的同时运行异步操作有哪些选择?
我正在开发一个Windows 8运行时组件,因此公共接口不能包含,Task<T>因为它不是Windows运行时类型.
这意味着我不能标记的方法async,不能await在private async我的库方法.这导致了一些关于如何处理我的应用程序逻辑的混淆.
这就是我如何做我想要的同步.
Result r = TryGetAuthResultFromFile();
if(r != null)
{
return r;
}
r = GetAuthResultFromWebAuthenticationBroker();
return r;
Run Code Online (Sandbox Code Playgroud)
问题是TryGetResultFrom文件是async Task<Result>方法,返回r的方法正在返回IAsyncOperation<Result>
我已经尝试过这个(这不是完整的代码,但可以看到理论,在延续中处理结果并返回它们,我必须对IAsyncOperation类型进行一些结果处理).
TryGetAuthResultFromFile().ContinueWith(x=>
{
if(x.Result != null)
{
return x.result;
}
GetAuthResultFromWebAuthenticationBroker().ContinueWith(y=>
{
return y.Result;
});
});
Run Code Online (Sandbox Code Playgroud)
这个问题是,WebAuthenticationBroker如果没有从UI线程调用它似乎不起作用.它会抛出一个有用的NotImplementedException没有有用的错误消息.
我怎么打电话TryGetAuthResultFromFile然后等待结果,然后打电话GetAuthResultFromWebAuthenticationBroker?
c# task-parallel-library async-await windows-8 windows-runtime
我很难理解loopState.Stop()和loopState.Break().我已阅读MSDN和几篇关于它的帖子,但我仍感到困惑.
我的理解是每个迭代分区器都为线程提供剩余索引来处理和loopState.Stop()停止所有线程并loopState.Break()停止当前线程.
但是让我们考虑以下情况:
Parallel.For(0, 100, (i, loopState) =>
{
if (i >= 10)
loopState.Break();
Debug.Write(i);
});
Run Code Online (Sandbox Code Playgroud)
对于这个循环,我有结果:
0 25 1 2 3 4 5 6 7 8 9 10
Run Code Online (Sandbox Code Playgroud)
我不知道为什么在结果中有10个和25个数字.
有人可以帮忙吗?
PS我有i5 520M CPU(2核=> 4个线程)
当使用API和从任务并行库派生的类时,开发人员何时需要关注垃圾收集的影响?
.NET Task实例在运行期间是否超出范围?,似乎给人一种安全感,你不必担心将任务保持在范围内.但问题似乎仅限于在ThreadPool上运行的任务,然后rooted由ThreadPool进行.但是,如果我正确理解这篇MSDN博客文章,那么SO问题的建议通常不适用,因为来自TaskCompletionSource的任务并不相似rooted.
是直接使用TaskCompletionSource的唯一关注时间吗?
但是,在使用API时,您不知道任务的来源.那么你是否需要担心存储对continuation的引用,以防提供Task来自一个TaskCompletionSource或其他一些非根源?
从需要考虑任务是否已植根(是否同步的异步I/O任务?),这似乎很快变得不方便和复杂.我很难找到关于主题的信息,但它是一个很受欢迎的库,我觉得我不应该阅读反编译的源代码来确定我是否需要担心垃圾收集器的竞争条件,所以我想我必须是遗失或误解的东西.
我在Portable Class Library类中遇到了问题..AsParallel()虽然System.Linq被引用但似乎我不能使用扩展方法.这是代码:
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace PortableClassLibrary1
{
public class Class1
{
public Class1()
{
var list = new List<String>();
}
}
}
Run Code Online (Sandbox Code Playgroud)
list没有AsParallel()方法,它只有AsQueryable和AsEnumerable.
目标框架是.NET 4.5和更高版本,Phone 8,Windows Store App(Win 8)及更高版本.有任何想法吗?
c# ×8
.net ×4
async-await ×1
c#-4.0 ×1
c#-5.0 ×1
concurrency ×1
freeze ×1
linq ×1
loops ×1
task ×1
tpl-dataflow ×1
windows-8 ×1