如何快速计算线？

Question

我尝试了unxutils ' wc -l但它崩溃了1GB文件.我试过这个C#代码

long count = 0;
using (StreamReader r = new StreamReader(f))
{
    string line;
    while ((line = r.ReadLine()) != null)
    {
        count++;
    }
}

return count;

它在4秒内读取500MB文件

var size = 256;
var bytes = new byte[size];
var count = 0;
byte query = Convert.ToByte('\n');
using (var stream = File.OpenRead(file))
{
    int many;
    do
    {
        many = stream.Read(bytes, 0, size);
        count += bytes.Where(a => a == query).Count();                    
    } while (many == size);
}

在10秒内读取

var count = 0;
int query = (int)Convert.ToByte('\n');
using (var stream = File.OpenRead(file))
{
    int current;
    do
    {
        current = stream.ReadByte();
        if (current == query)
        {
            count++;
            continue;
        }
    } while (current!= -1);
}

需要7秒

还有什么比我还没试过的更快吗？

Answer 1

File.ReadLines 是在.NET 4.0中引入的

var count = File.ReadLines(file).Count();

在4秒内工作,与第一个代码片段同时工作

Answer 2

您的第一种方法看起来确实是最佳解决方案.请记住,您大部分不受CPU限制,但受到HD读取速度的限制,500MB/4秒= 125MB/s已经非常快.获得更快速度的唯一方法是通过RAID或使用SSD,而不是通过更好的算法.