如何解码python中HTTP响应中返回的gzip压缩数据？

Question

我在python中创建了一个客户端/服务器体系结构,我从客户端获取HTTP请求,通过我的代码请求另一个HTTP服务器.

当我从第三服务器我不能给gzip压缩的数据进行解码的响应,我第一次使用拆分响应数据\r\n作为了我的数据在列表中的最后一个项目分隔符,然后我试着用它解压缩

zlib.decompress(data[-1]) 

但它给我一个错误的标题错误.我该如何处理这个问题？

码

client_reply = ''
                 while 1:
                     chunk = server2.recv(512)
                     if len(chunk) :
                         client.send(chunk)
                         client_reply += chunk
                     else:
                         break
                 client_split = client_reply.split("\r\n")
                 print client_split[-1].decode('zlib')

我想读取客户端和第二台服务器之间传输的数据.

Answer 1

例如wbits,使用zlib.decompress(string, wbits, bufsize)"故障排除"结束时指定使用时间.

故障排除

让我们从一个curl命令开始,下载一个带有未知"内容编码"的字节范围响应(注意:我们事先知道它是某种压缩的东西,deflate可能是mabye gzip):

export URL="https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2016-18/segments/1461860106452.21/warc/CC-MAIN-20160428161506-00007-ip-10-239-7-51.ec2.internal.warc.gz"
curl -r 266472196-266527075 $URL | gzip -dc | tee hello.txt

使用以下响应标头:

HTTP/1.1 206 Partial Content
x-amz-id-2: IzdPq3DAPfitkgdXhEwzBSwkxwJRx9ICtfxnnruPCLSMvueRA8j7a05hKr++Na6s
x-amz-request-id: 14B89CED698E0954
Date: Sat, 06 Aug 2016 01:26:03 GMT
Last-Modified: Sat, 07 May 2016 08:39:18 GMT
ETag: "144a93586a13abf27cb9b82b10a87787"
Accept-Ranges: bytes
Content-Range: bytes 266472196-266527075/711047506
Content-Type: application/octet-stream
Content-Length: 54880
Server: AmazonS3

所以说到这一点.

让我们显示前10个字节的十六进制输出: curl -r 266472196-266472208 $URL | xxd

十六进制输出

0000000: 1f8b 0800 0000 0000 0000 ecbd eb

我们可以看到我们使用十六进制值的一些基础知识.

粗略地说它可能是一个gzip(1f8b)使用deflate(0800)而没有修改time(0000 0000),或任何额外的标志set(00),使用fat32系统(00).

请参阅第2.3/2.3.1节:https://tools.ietf.org/html/rfc1952#section-2.3.1

所以在python上:

>>> import requests
>>> url = 'https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2016-18/segments/1461860106452.21/warc/CC-MAIN-20160428161506-00006-ip-10-239-7-51.ec2.internal.warc.gz'
>>> response = requests.get(url, params={"range":"bytes=257173173-257248267"})
>>> unknown_compressed_data = response.content

注意到类似的东西？:

>>> unknown_compressed_data[:10]
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00'

对于解压缩,让我们根据(文档)随机尝试:

>>> import zlib

"zlib.error:准备解压缩数据时错误-2:不一致的流状态":

>>> zlib.decompress(unknown_compressed_data, -31)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
zlib.error: Error -2 while preparing to decompress data: inconsistent stream state

"解压缩数据时出错-3:错误的标题检查":

>>> zlib.decompress(unknown_compressed_data)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
zlib.error: Error -3 while decompressing data: incorrect header check

"zlib.error:解压缩数据时出错-3:无效距离太远":

>>> zlib.decompress(unknown_compressed_data, 30)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
zlib.error: Error -3 while decompressing data: invalid distance too far back

可能的方法:

>>> zlib.decompress(unknown_compressed_data, 31)
'WARC/1.0\r\nWARC-Type: response\r\nWARC-Date: 2016-04-28T20:14:16Z\r\nWARC-Record-ID: <urn:uu

Answer 2

根据https://www.w3.org/Protocols/rfc2616/rfc2616-sec6.html，标题和正文由仅包含 CRLF 字符的空行分隔。你可以尝试

client_split = client_reply.split("\r\n\r\n",1)
print client_split[1].decode('zlib')

拆分找到空行，附加参数限制拆分数量 - 结果是包含两个项目（标题和正文）的数组。但是，如果不了解更多关于代码和实际被分割的字符串的信息，就很难推荐任何东西。