C++ c+中的不规则文件写入性能+；

我正在编写一个应用程序，它接收一个二进制数据流，其中包含一个简单的函数调用，如

put（DataBLock，dateTime）其中每个数据包为4 MB

我必须将这些数据块写入单独的文件中，以便将来使用一些附加数据，如id、插入时间、标记等

所以我都试过这两种方法：

首先使用
文件
：

data.id = seedFileId; 
seedFileId++;

std::string fileName = getFileName(data.id);

char *fNameArray = (char*)fileName.c_str(); 
FILE* pFile;
pFile = fopen(fNameArray,"wb");

fwrite(reinterpret_cast<const char *>(&data.dataTime), 1, sizeof(data.dataTime), pFile);        
data.dataInsertionTime = time(0);
fwrite(reinterpret_cast<const char *>(&data.dataInsertionTime), 1, sizeof(data.dataInsertionTime), pFile);
fwrite(reinterpret_cast<const char *>(&data.id), 1, sizeof(long), pFile);
fwrite(reinterpret_cast<const char *>(&data.tag), 1, sizeof(data.tag), pFile);
fwrite(reinterpret_cast<const char *>(&data.data_block[0]), 1, data.data_block.size() * sizeof(int), pFile);
fclose(pFile);

在我的测试中，第一种方法看起来更快，但我的主要问题是在这两种方法中，首先一切都很顺利，对于每个文件写入操作，它几乎在同一时间（比如20毫秒）进行，但是在第250-300个包之后，它开始出现一些峰值，比如150到300毫秒，然后下降到20毫秒，然后再下降到150毫秒，依此类推。。。所以它变得非常不可预测

当我在代码中加入一些计时器时，我发现这些峰值的主要原因是因为
fout.open（…）
和
pfile=fopen（…）
行。我不知道这是否是因为操作系统，硬盘，任何缓存或缓冲机制等

所以问题是,；为什么这些文件打开行在一段时间后会出现问题，有没有办法使文件写入操作稳定，我指的是固定时间

谢谢

注意：我使用的是VisualStudio2008VC++，Windows7x64。（我也尝试了32位配置，但结果相同）

编辑：经过一段时间后，即使打开文件的时间最短，写入速度也会减慢。我尝试了不同的包装尺寸，结果如下：

对于2MB的软件包，它需要两倍的时间来减速，我的意思是在第600项减速开始后

对于4MB的软件包，几乎是第300项

对于8MB的软件包，几乎是第150项

所以在我看来，这是某种缓存问题还是什么？（在硬盘或操作系统中）。但我也尝试过禁用硬盘缓存，但没有任何改变

有什么想法吗

所以问题是,；为什么这些文件打开行会出现问题
一段时间后，有没有办法进行文件写入操作
稳定，我是说固定时间

此观察结果（.e.写入操作所花费的时间不同）并不意味着操作系统或文件系统存在问题。观察结果背后可能有各种原因。一个可能的原因是延迟写入可能被内核用来将数据写入磁盘。有时内核会缓存它（缓冲区），以防另一个进程很快读写它，从而避免额外的磁盘操作

这种情况可能导致对于相同大小的数据/缓冲区，不同的写入调用所花费的时间不一致

文件I/O是一个有点复杂的话题，它取决于各种其他因素。有关文件系统内部算法的完整信息，请参阅Maurice J Bach的经典著作《UNIX操作系统的设计》，该书详细描述了这些概念和实现

话虽如此，您可能希望在两个版本的程序（.e.C和C++）中的write调用之后立即使用flush调用。这样，您可以在文件I/O写入时间中获得一致的时间。否则你的行为在我看来是正确的

//C program
fwrite(data,fp);
fflush(fp);

//C++ Program
fout.write(data);
fout.flush();

这是完全正常的，您正在观察文件系统缓存的行为。这是一块RAM，由操作系统留出用于缓冲磁盘数据。它通常是一个巨大的千兆字节，如果你的机器有很多RAM，它可能会更大。听起来您已经安装了4GB，对于64位操作系统来说没有那么多。但是，这取决于机器上运行的其他进程的RAM需求

对fwrite（）或ofstream:：write（）的调用将写入CRT创建的一个小缓冲区，它会依次调用操作系统以刷新整个缓冲区。操作系统通常写得非常快，它是从CRT缓冲区到文件系统缓存的简单内存到内存的拷贝。有效写入速度超过千兆字节/秒

文件系统驱动程序将文件系统缓存数据延迟写入磁盘。优化以最小化写入头上的寻道时间，这是迄今为止磁盘驱动器上最昂贵的操作。有效写入速度由磁盘盘的转速和定位写入头所需的时间决定。对于消费者级驱动器，通常为30兆字节/秒左右，以2为准

也许你在这里看到了消防水管的问题。写入文件缓存的速度比清空文件缓存的速度快得多。最终，您将设法将缓存填充到最大容量，并突然看到程序的性能从悬崖上跌落。您的程序现在必须等待缓存中的空间打开，以便完成写入，有效写入速度现在由磁盘写入速度限制

您观察到的20毫秒延迟也是正常的。这通常是打开一个文件所需的时间。这段时间完全由磁头寻道时间控制，它需要移动到文件系统索引来写入目录项。标称时间在20到50毫秒之间，您已经处于该时间的低端

显然，在代码中，您几乎无法改进这一点。正如您所发现的，您使用的CRT函数肯定没有任何区别。充其量，您可以增加所写文件的大小，从而减少创建文件的开销

购买更多的RAM总是一个好主意。但这当然只是推迟了消防水龙带溢出水桶的时间。你需要更好的驱动硬件才能取得成功。SSD非常好，条带raid阵列也很好。最好的做法是不要等待程序完成：）
峰值可能与I/O本身无关，而是与NTFS元数据有关：当文件计数达到
//C program
fwrite(data,fp);
fflush(fp);

//C++ Program
fout.write(data);
fout.flush();