Matlab中的GZIP用于大文件

Question

我有一个函数解包一个Z使用zlib库打包的字节数组(从这里改编).

• 打包数据大小为4.11 GB,解压缩数据为6.65GB.我有32GB的内存,所以这远远低于限制.
• 我尝试将java堆大小增加到15.96GB,但这没有帮助.
• MATLAB_JAVA环境变量指向jre1.8.0_144.

我得到了神秘的错误

'MATLAB array exceeds an internal Java limit.' 

在第2 ^次此代码的行:

import com.mathworks.mlwidgets.io.InterruptibleStreamCopier
a=java.io.ByteArrayInputStream(Z);
b=java.util.zip.GZIPInputStream(a);
isc = InterruptibleStreamCopier.getInterruptibleStreamCopier;
c = java.io.ByteArrayOutputStream;
isc.copyStream(b,c);
M=typecast(c.toByteArray,'uint8');

试图实施Mark Adler的建议:

Z=reshape(Z,[],8);
import com.mathworks.mlwidgets.io.InterruptibleStreamCopier
a=java.io.ByteArrayInputStream(Z(:,1));
b=java.util.zip.GZIPInputStream(a);
for ct = 2:8,b.read(Z(:,ct));end
isc = InterruptibleStreamCopier.getInterruptibleStreamCopier;
c = java.io.ByteArrayOutputStream;
isc.copyStream(b,c);

但在此isc.copystream我得到这个错误:

Java exception occurred:
java.io.EOFException: Unexpected end of ZLIB input stream

    at java.util.zip.InflaterInputStream.fill(Unknown Source)

    at java.util.zip.InflaterInputStream.read(Unknown Source)

    at java.util.zip.GZIPInputStream.read(Unknown Source)

    at java.io.FilterInputStream.read(Unknown Source)

    at com.mathworks.mlwidgets.io.InterruptibleStreamCopier.copyStream(InterruptibleStreamCopier.java:72)

    at com.mathworks.mlwidgets.io.InterruptibleStreamCopier.copyStream(InterruptibleStreamCopier.java:51)

直接从文件 中读取我试图直接从文件中读取数据.

streamCopier = com.mathworks.mlwidgets.io.InterruptibleStreamCopier.getInterruptibleStreamCopier;
fileInStream = java.io.FileInputStream(java.io.File(filename));
fileInStream.skip(datastart);
gzipInStream = java.util.zip.GZIPInputStream( fileInStream );
baos = java.io.ByteArrayOutputStream;
streamCopier.copyStream(gzipInStream,baos);
data = baos.toByteArray;
baos.close;
gzipInStream.close;
fileInStream.close;

适用于小文件,但我得到的大文件:

Java exception occurred:
java.lang.OutOfMemoryError

在线 streamCopier.copyStream(gzipInStream,baos);

Answer 1

瓶颈似乎是正在创建的每个Java对象的大小.发生这种情况是java.io.ByteArrayInputStream(Z)因为MATLAB数组不能被转换为Java无转换,而且copyStream数据实际上也被复制到输出缓冲器/内存中.我有一个类似的想法,将对象拆分为允许大小(src)的块:

function chunkDunzip(Z)
%% Imports:
import com.mathworks.mlwidgets.io.InterruptibleStreamCopier
%% Definitions:
MAX_CHUNK = 100*1024*1024; % 100 MB, just an example
%% Split to chunks:
nChunks = ceil(numel(Z)/MAX_CHUNK);
chunkBounds = round(linspace(0, numel(Z), max(2,nChunks)) );

V = java.util.Vector();
for indC = 1:numel(chunkBounds)-1
  V.add(java.io.ByteArrayInputStream(Z(chunkBounds(indC)+1:chunkBounds(indC+1))));
end

S = java.io.SequenceInputStream(V.elements);  
b = java.util.zip.InflaterInputStream(S);

isc = InterruptibleStreamCopier.getInterruptibleStreamCopier;
c = java.io.FileOutputStream(java.io.File('D:\outFile.bin'));
isc.copyStream(b,c);
c.close();

end

几点说明:

1. 我使用了一个,FileOutputStream因为它没有遇到Java对象的内部限制(就我的测试而言).
2. 仍然需要增加Java堆内存.
3. 我用deflate演示了它,而不是gzip.gzip的解决方案非常相似 - 如果这是一个问题,我会修改它.