小编Jon*_*sco的帖子

在Python中逐步读取大型多部分压缩文本文件

我有一个非常大的zip文件,它被分成多个部分作为拆分档案,在档案中有一个文件.我没有足够的资源将这些档案组合在一起或提取它们(原始文本文件接近1TB).

我想逐行解析文本文件,理想情况下使用这样的东西:

import zipfile
for zipfilename in filenames:
    with zipfile.ZipFile(zipfilename) as z:
        with z.open(...) as f:
            for line in f:
                print line
Run Code Online (Sandbox Code Playgroud)

这可能吗?如果是这样,我该如何阅读文本文件:

  1. 不使用太多内存(将整个文件加载到内存中显然是不可能的)
  2. 没有提取任何zip文件
  3. (理想情况下)没有组合zip文件

预先感谢您的帮助.

python zip parsing stream

6
推荐指数
1
解决办法
1293
查看次数

标签 统计

parsing ×1

python ×1

stream ×1

zip ×1