如何用zlib解压缩gzip流？

Question

Gzip格式文件(gzip例如,使用程序创建)使用"deflate"压缩算法,该算法与zlib使用的压缩算法相同.但是,当使用zlib来膨胀gzip压缩文件时,库会返回一个Z_DATA_ERROR.

如何使用zlib解压缩gzip文件？

Answer 1

要使用zlib解压缩gzip格式文件,请inflateInit2使用windowBits参数调用16+MAX_WBITS,如下所示:

inflateInit2(&stream, 16+MAX_WBITS);

如果你不这样做,zlib会抱怨一个糟糕的流格式.默认情况下,zlib使用zlib标头创建流,并且在inflate中无法识别不同的gzip标头,除非您这样说.虽然从头文件的1.2.1版开始记录了这一点zlib.h,但它不在zlib手册中.从头文件:

windowBits对于可选的gzip解码,也可以大于15.添加32以windowBits使用自动标头检测启用zlib和gzip解码,或添加16以仅解码gzip格式(zlib格式将返回a Z_DATA_ERROR).如果正在解码gzip流,strm->adler则是crc32而不是adler32.

Answer 2

蟒蛇

zlib图书馆支持:

• RFC 1950(zlib压缩格式)
• RFC 1951(deflate压缩格式)
• RFC 1952(gzip压缩格式)

python zlib模块也将支持这些.

选择windowBits

但是zlib可以解压缩所有这些格式:

• (去)压缩deflate格式,使用wbits = -zlib.MAX_WBITS
• (去)压缩zlib格式,使用wbits = zlib.MAX_WBITS
• (去)压缩gzip格式,使用wbits = zlib.MAX_WBITS | 16

请参阅http://www.zlib.net/manual.html#Advanced(部分inflateInit2)中的文档

例子

测试数据:

>>> deflate_compress = zlib.compressobj(9, zlib.DEFLATED, -zlib.MAX_WBITS)
>>> zlib_compress = zlib.compressobj(9, zlib.DEFLATED, zlib.MAX_WBITS)
>>> gzip_compress = zlib.compressobj(9, zlib.DEFLATED, zlib.MAX_WBITS | 16)
>>> 
>>> text = '''test'''
>>> deflate_data = deflate_compress.compress(text) + deflate_compress.flush()
>>> zlib_data = zlib_compress.compress(text) + zlib_compress.flush()
>>> gzip_data = gzip_compress.compress(text) + gzip_compress.flush()
>>> 

明显的测试zlib:

>>> zlib.decompress(zlib_data)
'test'

测试deflate:

>>> zlib.decompress(deflate_data)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
zlib.error: Error -3 while decompressing data: incorrect header check
>>> zlib.decompress(deflate_data, -zlib.MAX_WBITS)
'test'

测试gzip:

>>> zlib.decompress(gzip_data)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
zlib.error: Error -3 while decompressing data: incorrect header check
>>> zlib.decompress(gzip_data, zlib.MAX_WBITS|16)
'test'

数据也与gzip模块兼容:

>>> import gzip
>>> import StringIO
>>> fio = StringIO.StringIO(gzip_data)
>>> f = gzip.GzipFile(fileobj=fio)
>>> f.read()
'test'
>>> f.close()

自动头检测(zlib或gzip)

加入32到windowBits将触发标题检测

>>> zlib.decompress(gzip_data, zlib.MAX_WBITS|32)
'test'
>>> zlib.decompress(zlib_data, zlib.MAX_WBITS|32)
'test'

使用gzip而不是

对于gzip带有gzip头的数据,您可以gzip直接使用模块; 但请记住,引擎盖下,gzip使用zlib.

fh = gzip.open('abc.gz', 'rb')
cdata = fh.read()
fh.close()

Answer 3

zlib和gzip的结构不同。zlib 使用RFC 1950而 gzip 使用RFC 1952，因此具有不同的标头，但其余部分具有相同的结构并遵循 RFC 1951。