用C++并行读取大文本文件

Question

我有一个大文本文件..我想读取此文件并在其中执行一些操作..

这种操作在每一行上独立发生.所以基本上,我正在寻找一些可以并行执行此功能的功能.

void readFile(string filename){

  //do manipulation

}

操纵可以并行进行.

同意这可以使用hadoop轻松完成,但这是一个过度的解决方案.(它的大文件,但不是那么大,我需要hadoop为此...)

我如何在C++中执行此操作？

Answer 1

我会用mmap.mmap为您提供类似内存的文件访问,因此您可以轻松地并行读取.请查看有关mmap的另一个stackoverflow主题.使用mmap使用非只读模式时要小心.