Textscan存档有大量的行

Question

我正在尝试使用textscanMATLAB 分析一个非常大的文件.有问题的文件大小约为12 GB,包含大约2.5亿行,每行有7个(浮动)数字(由空格分隔); 因为这显然不适合我桌面的RAM,我正在使用MATLAB文档中建议的方法(即一次加载和分析文件的一个较小的块.根据文档,这应该允许处理"任意大分隔文本文件[s]").这只允许我扫描大约43%的文件,之后文本扫描开始返回空单元格(尽管仍有数据留在文件中扫描).

为了调试,我尝试使用该fseek函数转到文件中的多个位置,例如:

fileInfo = dir(fileName);
fid = fileopen(fileName);
fseek(fid, floor(fileInfo.bytes/10), 'bof');
textscan(fid,'%f %f %f %f %f %f %f','Delimiter',' ');

我假设我在fseek这里使用的方式将位置指示器移动到我文件的大约10%.(我知道这并不一定意味着该指标是在一行的开头,但如果我跑textscan两次,我得到一个满意的答案.)现在,如果我取代fileInfo.bytes/10的fileInfo.bytes/2(即它移动到文件的大约50%一切都崩溃了,textscan只返回一个空的1x7单元格.

我使用文本编辑器查看了大文件的文件,这表明整个文件看起来很好,并且没有理由textscan混淆.我能想到的唯一可能的解释是,在我不太了解的更深层次上出现问题.任何建议将不胜感激!

编辑

我的代码的相关部分过去看起来像这样:

while ~feof(fid)
    data = textscan(fid, FormatString, nLines, 'Delimiter', ' '); %// Read nLines
        %// do some stuff
end

首先,我尝试使用ftell并fseek按照Hoki的建议进行修复.这给出了与之前完全相同的错误:MATLAB无法读取超过大约43%的文件.然后我尝试使用HeaderLines解决方案(也在下面建议),如下所示:

i = 0;
while ~feof(fid)
    frewind(fid)
    data = textscan(fid, FormatString, nLines, 'Delimiter',' ', 'HeaderLines', i*nLines);
        %// do some stuff
    i = i + 1;
end

这似乎是在数据中读取而不会产生错误; 然而,它非常缓慢.

我不完全确定我理解HeaderLines在这种情况下会发生什么,但它似乎textscan完全忽略了指定行之前的所有内容.当textscan以"适当"的方式使用时(无论是否有ftell和fseek),似乎都没有发生这种情况:在两种情况下,它都试图从最后一个位置继续,但由于某种原因我无法理解也无济于事.

Answer 1

fseek仅当您确切知道要将光标移动到何处（或移动多少字节）时，文件中的指针才有用。当您只想跳过一些已知长度的记录时，这对于二进制文件非常有用。但在文本文件上，它比任何东西都更危险和令人困惑（除非您绝对确定每一行的大小相同，并且该行上的每个元素都位于相同的位置/列，但这种情况并不经常发生）。

有几种方法可以逐块读取文本文件：

1）使用HeaderLines选项

要简单地跳过文本文件上的一行块，您可以使用 参数HeaderLines，textscan例如：

readFormat = '%f %f %f %f %f %f %f' ;   %// read format specifier
nLines = 10000 ;                        %// number of line to read per block

fileInfo = dir(fileName);

%// read FIRST block
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' '); %// read the first 10000 lines
fclose(fid)
    %// Now do something with your "M" data

然后当你想读取第二块时：

%// later read the SECOND block:
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ','HeaderLines', nLines); %// read lines 10001 to 20000
fclose(fid)

如果你有很多块，对于Nth块，只需调整：

%// and then for the Nth BLOCK block:
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ','HeaderLines', (N-1)*nLines);
fclose(fid)

如果有必要（如果您有很多块），只需在循环中编写最后一个版本即可。

请注意，如果您在每次读取块后关闭文件，这会很好（因此当您再次打开文件时，文件指针将从文件的开头开始）。如果您的处理可能需要很长时间或可能出错（您不希望文件保持打开时间过长或在fid崩溃时丢失），则在读取数据块后关闭文件会更安全。

2）按块读取（不关闭文件）

如果块的处理足够快且安全，因此您确定它不会被炸毁，那么您可以不关闭文件。在这种情况下，textscan文件指针将停留在您停止的位置，因此您还可以：

• 读取一个块（不要关闭文件）：M = textscan(fid, readFormat, nLines)
• 处理它然后保存你的结果（并释放内存）
• 使用相同的调用读取下一个块：M = textscan(fid, readFormat, nLines)

在这种情况下，您不需要该headerlines参数，因为textscan它将从停止的地方继续读取。

3）使用ftell和fseek

最后，您可以fseek在所需的精确位置开始读取文件，但在这种情况下，我建议将其与ftell.

ftell将返回打开文件中的当前位置，因此请使用它来了解您最后停止读取的位置，然后使用fseek下一次直接在该位置读取。就像是：

%// read FIRST block
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ');
lastPosition = ftell(fid) ;
fclose(fid)

%// do some stuff

%// then read another block:
fid = fileopen(fileName);
fseek( fid , 'bof' , lastPosition ) ;
M = textscan(fid, readFormat, nLines,'Delimiter',' ');
lastPosition = ftell(fid) ;
fclose(fid)
%// and so on ...