我试图找出用Python压缩流的最佳方法zlib.
我有一个类似文件的输入流(input,下面)和一个输出函数,它接受类似文件(output_function,下面):
with open("file") as input:
output_function(input)
我想input在发送之前对gzip压缩块进行压缩output_function:
with open("file") as input:
output_function(gzip_stream(input))
看起来gzip模块假定输入或输出都是gzip的磁盘文件...所以我假设zlib模块是我想要的.
但是,它本身并没有提供一种简单的方法来创建类似于文件的流......而它支持的流压缩是通过手动将数据添加到压缩缓冲区,然后刷新缓冲区来实现的.
当然,我可以写一个包装器zlib.Compress.compress和zlib.Compress.flush(Compress由它返回zlib.compressobj()),但我担心缓冲区大小错误或类似的东西.
那么,使用Python创建流式,gzip压缩文件的最简单方法是什么？
编辑:为了澄清,输入流和压缩输出流都太大output_function(StringIO(zlib.compress(input.read())))而不适合内存,所以类似的东西并没有真正解决问题.