C++ std :: bad_alloc错误

Question

我正在研究一个C++程序(C++ 98).它读取包含许多行(10000行)的文本文件.这些是制表符分隔值,然后我将其解析为Vector of Vector对象.但它似乎适用于某些文件(较小)但我的一个文件给我以下错误(此文件有10000行,它是90MB).我猜这是一个与记忆有关的问题？你能帮我么？

错误

terminate called after throwing an instance of 'std::bad_alloc'
  what():  std::bad_alloc
Abort

码

void AppManager::go(string customerFile) {

    vector<vector<string> > vals = fileReader(customerFile);

    for (unsigned int i = 0; i < vals.size();i++){

        cout << "New One\n\n";

        for (unsigned int j = 0; j < vals[i].size(); j++){

            cout << vals[i][j] << endl;
        }

        cout << "End New One\n\n";
    }
}

vector<vector<string> > AppManager::fileReader(string fileName) {

    string line;
    vector<vector<string> > values;

    ifstream inputFile(fileName.c_str());

    if (inputFile.is_open()) {

        while (getline(inputFile,line)) {

            std::istringstream iss(line);
            std::string val;
            vector<string> tmp;

            while(std::getline(iss, val, '\t')) {

                tmp.push_back(val);
            }

            values.push_back(tmp);
        }

        inputFile.close();
    }
    else {

        throw string("Error reading the file '" + fileName + "'");
    }

    return values;
}

Answer 1

您的代码没有任何问题,您只是在可能具有较小内存限制的平台上运行,可能是旧的编译器,可能是旧的C++库.这一切都是对你不利的.你必须微优化:(

这是你能做的,首先从最低挂果开始:

1. 干一遍文件,只计算线条.然后values.resize(numberOfLines),寻找开头,然后才读取值.当然,你不会再使用values.push_back了values[lineNumber] = tmp.values添加向量时调整向量的大小可能会使进程临时需要的内存量增加一倍以上.

2. 在行的末尾,做tmp.resize(tmp.size()- 它会缩小向量以适合数据.

3. 您可以通过将所有值存储在一个向量中来减少现有代码中的开销.

   1. 如果每一行都有不同数量的元素,但您稍后可以顺序访问它们,则可以将空字符串存储为内部分隔符,它可能比矢量具有更低的开销.

   2. 如果每一行都有相同数量的值,那么按行拆分会增加不必要的开销 - 你知道每行中第一个值的索引,简单地说lineNumber * valuesPerLine,第一行有数字0.

4. 内存映射文件.将每个单词的开头和结尾存储在向量的结构元素中,如果需要将其分成行,也可以使用行号.