如何以有效的方式获取文件中的行数？

Question

我有一个大文件.它包括大约3.000-20.000行.如何使用Java获取文件中的行总数？

Answer 1

BufferedReader reader = new BufferedReader(new FileReader("file.txt"));
int lines = 0;
while (reader.readLine() != null) lines++;
reader.close();

更新:为了回答这里提出的性能问题,我做了一个测量.第一件事:20.000行太少,以使程序运行一段时间.我创建了一个包含500万行的文本文件.这个解决方案(从没有像-server或-XX-options这样的参数的java开始)在我的盒子上需要大约11秒.与wc -l(UNIX命令行工具计数行)相同,为11秒.读取每个字符并寻找'\n'的解决方案需要104秒,9-10倍.

Answer 2

Files.lines

Java的8+具有使用一个很不错的一小段路NIO使用Files.lines.

Path path = Paths.get("./big_file.txt");
long lineCount = Files.lines(path).count();

UTF-8中的默认字符编码.您可以指定备用编码以匹配您的特定数据文件.

Answer 3

使用LineNumberReader

就像是

public static int countLines(File aFile) throws IOException {
    LineNumberReader reader = null;
    try {
        reader = new LineNumberReader(new FileReader(aFile));
        while ((reader.readLine()) != null);
        return reader.getLineNumber();
    } catch (Exception ex) {
        return -1;
    } finally { 
        if(reader != null) 
            reader.close();
    }
}

Answer 4

我找到了一些解决方案,它可能对你有用

下面是代码片段,计算文件中的no.of行.

  File file = new File("/mnt/sdcard/abc.txt");
  LineNumberReader lineNumberReader = new LineNumberReader(new FileReader(file));
  lineNumberReader.skip(Long.MAX_VALUE);
  int lines = lineNumberReader.getLineNumber();
  lineNumberReader.close();

Answer 5

通读文件并计算换行符的数量。在 Java 中读取文件的一种简单方法（一次一行）是java.util.Scanner类。

Answer 6

这大约是它能达到的最高效率，缓冲二进制读取，没有字符串转换，

FileInputStream stream = new FileInputStream("/tmp/test.txt");
byte[] buffer = new byte[8192];
int count = 0;
int n;
while ((n = stream.read(buffer)) > 0) {
    for (int i = 0; i < n; i++) {
        if (buffer[i] == '\n') count++;
    }
}
stream.close();
System.out.println("Number of lines: " + count);

Answer 7

您需要精确的行数还是只需要近似值？我碰巧并行处理大文件，并且通常不需要知道确切的行数 - 然后我恢复采样。将文件分成 10 个 1MB 的块，计算每个块中的行数，然后将其乘以 10，您将得到行数的相当好的近似值。