在Python中读取文件时如何自动处理解压？

Question

我正在编写一些 Python 代码，它循环访问多个文件并处理每个文件的前几百行。我想扩展此代码，以便如果列表中的任何文件被压缩，它会在读取它们时自动解压缩，以便我的代码始终接收解压缩的行。基本上我的代码目前看起来像：

for f in files:
    handle = open(f)
    process_file_contents(handle)

是否有任何函数可以替换open上面的代码，以便如果f是纯文本或 gzip 压缩文本（或 bzip2 等），该函数将始终返回文件解压缩内容的文件句柄？（无需查找，只需顺序访问。）

Answer 1

我遇到了同样的问题：我希望我的代码接受文件名并返回要与with自动压缩等 一起使用的文件句柄。

就我而言，我愿意信任文件扩展名，我只需要处理 gzip 和 bzip 文件。

import gzip
import bz2

def open_by_suffix(filename):
    if filename.endswith('.gz'):
        return gzip.open(filename, 'rb')
    elif filename.endswith('.bz2'):
        return bz2.BZ2file(filename, 'r')
    else:
        return open(filename, 'r')

如果我们不信任文件名，我们可以比较文件的初始字节是否存在魔术字符串（修改自/sf/answers/913146251/）：

import gzip
import bz2

magic_dict = {
    "\x1f\x8b\x08": (gzip.open, 'rb')
    "\x42\x5a\x68": (bz2.BZ2File, 'r')
}
max_len = max(len(x) for x in magic_dict)

def open_by_magic(filename):
    with open(filename) as f:
        file_start = f.read(max_len)
    for magic, (fn, flag) in magic_dict.items():
        if file_start.startswith(magic):
            return fn(filename, flag)
    return open(filename, 'r')

用法：

# cat
for filename in filenames:
    with open_by_suffix(filename) as f:
        for line in f:
            print f

您的用例如下所示：

for f in files:
    with open_by_suffix(f) as handle:
        process_file_contents(handle)