在 Go 中从具有可变行结尾的文件中读取行

Question

如何从行尾为回车 (CR)、换行 (NL) 或两者的文件中读取行？

PDF 规范允许行以 CR、LF 或 CRLF 结尾。

• bufio.Reader.ReadString()并bufio.Reader.ReadBytes()允许单个分隔符字节。

• bufio.Scanner.Scan()处理\n可选的前面\r，但不是一个单独的\r。

  行尾标记是一个可选的回车符，后跟一个强制换行符。

我需要编写自己的函数bufio.Reader.ReadByte()吗？

Answer 1

您可以bufio.SplitFunc为编写自定义bufio.Scanner。例如：

// Mostly bufio.ScanLines code:
func ScanPDFLines(data []byte, atEOF bool) (advance int, token []byte, err error) {
    if atEOF && len(data) == 0 {
        return 0, nil, nil
    }
    if i := bytes.IndexAny(data, "\r\n"); i >= 0 {
        if data[i] == '\n' {
            // We have a line terminated by single newline.
            return i + 1, data[0:i], nil
        }
        advance = i + 1
        if len(data) > i+1 && data[i+1] == '\n' {
            advance += 1
        }
        return advance, data[0:i], nil
    }
    // If we're at EOF, we have a final, non-terminated line. Return it.
    if atEOF {
        return len(data), data, nil
    }
    // Request more data.
    return 0, nil, nil
}

并像这样使用它：

scan := bufio.NewScanner(r)
scan.Split(ScanPDFLines)