使用PLINQ时如何避免内存不足异常？

Question

嗨,谢谢你的期待!

背景

我有一项计算任务需要大量时间或并行计算.

具体来说,我需要循环遍历大约50个图像的列表,Base64对它们进行编码,然后计算每个新编码项目与包含大约2000个Base64字符串编码图像的XML文件中的值之间的Levenshtein距离,以便找到字符串.具有最小Lev的XML文件.与基准字符串的距离.

常规foreach循环工作,但速度太慢,所以我选择使用PLINQ来利用我的Core i7多核处理器:

Parallel.ForEach(candidates, item => findImage(total,currentWinner,benchmark,item));

任务开始非常出色,高速奔跑,但后来我得到了一个"内存不足"的例外.

我正在使用C#,.NET 4,Forms App.

题

我如何调整我的PLINQ代码,以便我没有可用的内存耗尽？

更新/示例代码

这是调用PLINQ的方法foreach:

private void btnGo_Click(object sender, EventArgs e)
{
    XDocument doc = XDocument.Load(@"C:\Foo.xml");
    var imagesNode = doc.Element("images").Elements("image"); //Each "image" node contains a Base64 encoded string.
    string benchmark = tbData.Text; //A Base64 encoded string.
    IEnumerable<XElement> candidates = imagesNode;

    currentWinner = 1000000; //Set the "Current" low score to a million and bubble lower scores into it's place iteratively.

    Parallel.ForEach(candidates, i => {
        dist = Levenshtein(benchmark, i.Element("score").Value);
        if (dist < currentWinner)
        {
            currentWinner = dist;
            path = i.Element("path").Value;
        }
    });
}

...这是Levenshtein距离法:

public static int Levenshtein(string s, string t)    {
            int n = s.Length;
            int m = t.Length;
            var d = new int[n + 1, m + 1];

            // Step 1
            if (n == 0)
            {
                return m;
            }

            if (m == 0)
            {
                return n;
            }

            // Step 2
            for (int i = 0; i <= n; d[i, 0] = i++)
            {
            }

            for (int j = 0; j <= m; d[0, j] = j++)
            {
            }

            // Step 3
            for (int i = 1; i <= n; i++)
            {
                //Step 4
                for (int j = 1; j <= m; j++)
                {
                // Step 5
                int cost = (t[j - 1] == s[i - 1]) ? 0 : 1;

                // Step 6
                d[i, j] = Math.Min(
                    Math.Min(d[i - 1, j] + 1, d[i, j - 1] + 1),
                    d[i - 1, j - 1] + cost);
                }
            }
            // Step 7
            return d[n, m];
            }

提前致谢!

Answer 1

更新

今天在不同的情况下再次陷入这个错误.我正在开发一款具有高内存需求的桌面应用.确保已将项目设置为64位体系结构以访问所有可用内存.我的项目默认设置在x86上,所以我一直没有内存异常.当然,这只有在您可以依靠64位处理器进行部署时才有效.

结束更新

经过一番努力后,这似乎是操作员错误:

我正在从并行线程调用UI线程以更新进度标签,但我没有以线程安全的方式执行此操作.

另外,我在没有调试器的情况下运行应用程序,因此每次代码尝试从导致溢出的并行线程更新UI线程时都会发生未捕获的异常.

如果你不是PLINQ的专家,我猜它会为你处理所有低级分配的东西,只要你不像这样做一个愚蠢的臭代码错误.

希望这有助于其他人.