c ++中不规则的文件写入性能

Question

我正在编写一个应用程序,它通过简单的函数调用接收二进制数据流,例如put(DataBLock, dateTime);每个数据包为4 MB

我必须将这些数据块写成单独的文件,以备将来使用时使用一些额外的数据,如id,插入时间,标签等...

所以我都尝试了这两种方法:

首先FILE:

data.id = seedFileId; 
seedFileId++;

std::string fileName = getFileName(data.id);

char *fNameArray = (char*)fileName.c_str(); 
FILE* pFile;
pFile = fopen(fNameArray,"wb");

fwrite(reinterpret_cast<const char *>(&data.dataTime), 1, sizeof(data.dataTime), pFile);        
data.dataInsertionTime = time(0);
fwrite(reinterpret_cast<const char *>(&data.dataInsertionTime), 1, sizeof(data.dataInsertionTime), pFile);
fwrite(reinterpret_cast<const char *>(&data.id), 1, sizeof(long), pFile);
fwrite(reinterpret_cast<const char *>(&data.tag), 1, sizeof(data.tag), pFile);
fwrite(reinterpret_cast<const char *>(&data.data_block[0]), 1, data.data_block.size() * sizeof(int), pFile);
fclose(pFile);

第二个ostream:

ofstream fout;
data.id = seedFileId; 
seedFileId++;

std::string fileName = getFileName(data.id);
char *fNameArray = (char*)fileName.c_str(); 
fout.open(fNameArray, ios::out| ios::binary | ios::app);


fout.write(reinterpret_cast<const char *>(&data.dataTime), sizeof(data.dataTime));      
data.dataInsertionTime = time(0);
fout.write(reinterpret_cast<const char *>(&data.dataInsertionTime), sizeof(data.dataInsertionTime));
fout.write(reinterpret_cast<const char *>(&data.id), sizeof(long));
fout.write(reinterpret_cast<const char *>(&data.tag), sizeof(data.tag));
fout.write(reinterpret_cast<const char *>(&data.data_block[0]), data.data_block.size() * sizeof(int));
fout.close();

在我的测试中,第一种方法看起来更快,但我的主要问题是两种方式,一开始就一切顺利,每次文件写入操作几乎相同的时间(如20毫秒),但在250-300包后,它开始制作一些峰值,如150到300毫秒,然后下降到20毫秒,然后又是150毫秒等等......所以它变得非常不可预测.

当我在代码中加入一些定时器时,我发现这些峰值的主要原因是因为fout.open(...)和pfile = fopen(...)线条.我不知道这是因为操作系统,硬盘驱动器,任何类型的缓存或缓冲机制等...

所以问题是; 为什么这些文件开放行在一段时间后成为问题,并且有一种方法使文件写入操作稳定,我的意思是固定时间？

谢谢.

注意:我使用的是Visual Studio 2008 vc ++,Windows 7 x64.(我也试过32位配置,但结果是一样的)

编辑:在某些点之后,即使打开文件时间最短,写入速度也会降低.我尝试了不同的包装尺寸,所以结果如下:

对于2 MB的包,它需要两倍的时间才能减速,我的意思是在约600个项目减速开始后

对于4 MB包装几乎是第300项

对于8 MB包几乎是第150项

所以在我看来它是某种缓存问题或什么？(在硬盘或操作系统中).但我也试过禁用硬盘缓存,但没有改变......

任何的想法？

Answer 1

这完全正常,您正在观察文件系统缓存的行为.这是操作系统为缓冲磁盘数据而留出的一大块RAM.它通常是一个胖千兆字节,如果你的机器有很多内存,可以更多.听起来你已经安装了4 GB,对于64位操作系统来说并不是那么多.但是取决于机器上运行的其他进程的RAM需求.

您对fwrite()或ofstream :: write()的调用将写入由CRT创建的小缓冲区,它反过来使操作系统调用刷新完整缓冲区.操作系统通常非常快速地写入,它是从CRT缓冲区到文件系统缓存的简单内存到内存副本.有效写入速度超过千兆字节/秒.

文件系统驱动程序懒惰地将文件系统缓存数据写入磁盘.经过优化可最大程度地缩短写头上的寻道时间,是迄今为止磁盘驱动器上最昂贵的操作.有效写入速度由盘片的旋转速度和定位写头所需的时间确定.对于消费级驱动器,典型值约为30兆字节/秒,给出或取2倍.

也许你看到了这里的消防水管问题.你是一个写入文件缓存很多速度比它可以清空.这最终会碰壁,你将设法填充缓存容量,并突然看到你的程序的性能从悬崖上掉下来.您的程序现在必须等到缓存中的空间打开才能完成写入,现在可以通过磁盘写入速度限制有效写入速度.

您观察到的20毫秒延迟也是正常的.这通常是打开文件所需的时间.这是一个完全由磁头寻道时间占主导地位的时间,它需要前往文件系统索引来写入目录条目.标称时间在20到50毫秒之间,你已经处于低端.

很明显,你的代码中很少能做到这一点.正如您所发现的那样,您使用的CRT功能肯定没有任何区别.最多可以增加您编写的文件的大小,从而减少创建文件所花费的开销.

购买更多内存总是一个好主意.但它当然只是延迟了火焰溢出水桶的那一刻.您需要更好的驱动硬件才能获得成功.SSD很不错,条纹raid阵列也是如此.最好的办法就是不要等到你的程序完成:)