用于目录遍历的任务并行库

Question

我想遍历我的硬盘上的目录,并在所有文件中搜索特定的搜索字符串.这听起来像是可以(或应该)并行完成的完美候选者,因为IO相当慢.

传统上,我会编写一个递归函数来查找和处理当前目录中的所有文件,然后递归到该目录中的所有目录.我想知道如何将其修改为更平行.起初我简单地修改了:

foreach (string directory in directories) { ... }

至

Parallel.ForEach(directories, (directory) => { ... }) 

但我觉得这可能会创建太多的任务并使自己陷入困境,特别是在尝试重新分配到UI线程时.我也觉得任务的数量是不可预测的,这可能不是一个平行(这是一个词？)这个任务的有效方法.

有没有人成功做过这样的事情？这样做有什么建议？

Answer 1

不,这听起来不像是一个很好的候选人并行正是因为IO速度很慢.你将成为磁盘绑定.假设你只有一个磁盘,你真的不想让它同时寻找多个不同的地方.

这有点像试图将几个软管连接到同一个水龙头以便更快地排出水 - 或者尝试在单个核心上运行16个CPU绑定线程:)