在python中打开一个lzo文件,而不解压缩文件

Dru*_*zed 4 python lzo

我目前正在从事涉及Twitter数据的第三年项目.该部门为我提供了几个月的Twitter的.lzo.最小的是4.9gb,当解压缩时是29gb所以我试图打开文件并阅读我要去的地方.这是可能的还是我需要解压缩并以这种方式处理数据?

编辑:尝试逐行读取并解压缩读取行

更新:找到一个解决方案 - 阅读lzop -dc的STDOUT就像一个魅力

eum*_*iro 7

如何在带有switch 的子进程中启动lzop二进制文件,-c然后逐行读取其STDOUT ?

  • 今天,我了解到我的笔记本电脑内存没有29GB. (3认同)