在C++中逐行处理来自文件的数据的方式(如果存在)最有效(不容易出现错误/"正确")的方法是什么？也就是说,在移动到下一个文件之前,一次只使用文件中的一行来执行一些冗长的计算.我想到了以下选项,但无法确定哪一个更合适.
目前我正在做类似的事情(打开,做所有事情,最后关闭):
string line;
fstream myfile;
int numlines = 1000;
myfile.open("myfile.csv");
for(int i = 0; i < numlines; i++){
getline(myfile, line);
// do something using read data
};
myfile.close();
在读取数据后立即打开和关闭(因为计算比数据导入长得多,所以不会太快损害速度):
string line;
fstream myfile;
int numlines = 1000;
for(int i = 0; i < numlines; i++){
myfile.open("myfile.csv");
for(int j = 0; j < i+1; j++)
getline(myfile, line);
myfile.close();
// do something using read data
};
一次读取所有数据(需要存储~30x1000 2D数组,因为line用逗号分割成数组):
string line;
fstream myfile;
int numlines = 1000;
double data[numlines][30];
myfile.open("myfile.csv");
for(int i = 0; i < numlines; i++){
getline(myfile, line);
// split by comma, store in data[][]
}
myfile.close();
for(int i = 0; i < numlines; i++){
// do something using data[i][]
};
这里有任何陷阱或任何上述解决方案如果有效吗？我想也许保持文件处于打开状态几个小时不是一个好主意(可能？),但在内存中保留一个大的双2D数组听起来也不错......
如果可以,请使用1.如果必须,请使用3.永远不要使用2.
为什么？选项1仅使用存储器作为单个行缓冲区.它只遍历文件一次.由于打开文件通常不是昂贵的资源,因此它可能是最便宜和最简单的.
但是,备选方案1并不总是足够的.有时您需要以随机顺序处理线条.这是选项3最好的地方.在这种情况下,如果有足够的内存,最简单的方法是读取整个文件并将内容提取到内存中.在许多情况下,字符串数组就足够了.在你的,线条似乎包含双打的文本表示.因此,在阅读时提取这些内容是合适的.通常,您希望以存储和/或访问高效的形式提取.
如果文件太大,内容将不适合内存,则必须使用随机文件访问(fseek或seek在C++中).对于文本行,请通读它以查找行开始的偏移量.将它们存储在一个数组中以作为行索引.通过使用适当的索引条目寻找行开始来访问行.然后阅读下一个换行符.索引将是每行8个字节加上单行的缓冲区.如果文件非常大,那么您可以将索引存储在文件中,并在每行访问时搜索两次.最好将索引和数据放在不同的磁盘驱动器上以减少寻道时间.消除索引的另一个选择是要求所有行具有相同的长度,因此算术足以找到任何行.
选项2只有在处理线路时保持单个打开的文件才会有意义.实际情况并非如此.您的代码必须读取n个单位的文件的O(n ^ 2)个数据单位.随着问题变得越来越大,性能非常糟糕.由于文件IO通常是程序的瓶颈,因此这可能非常糟糕.
此外,文件打开和关闭是相当昂贵的操作,不能毫无疑问地完成.我曾经在一个大型模拟系统上工作,并被问到是否可以加快速度.事实上,考虑到它在做什么,它似乎过于缓慢.经过几周的逆向工程代码,我终于发现在事件循环中每次迭代时都会打开一个跟踪文件以进行追加和关闭.我在循环外移动了打开和关闭(在循环内添加了一个偶然的冲洗来替换),并且whahoo!模拟加速了20倍或更多.客户很高兴至少能说.