熊猫:将WinZipped csv文件转换为数据帧

Question

我有几个WinZipped csv文件,并希望将其作为Pandas数据帧阅读.问题是,解压缩选项('gzip'或'bz2')似乎都不起作用.这是文件的样子:

00000000011!00023011!89011!200812
00000000012!00023011!89011!200812
00000000013!00023011!89011!200812

因此,似乎我将不得不使用Python的zipfile模块解压缩文件,读取行并从我读入的内容创建数据框.我想这样做的方法是创建一个这样的字典列表:

[
    {"header1": 00000000011, "header2": 00023011, "header3": 89011, "header4": 200812}, 
    {"header1": 00000000012, "header2": 00023011, "header3": 89011, "header4": 200812},
    ...
]

然后将其转换为数据框,如http://pandas.pydata.org/pandas-docs/stable/dsintro.html#from-a-list-of-dicts.

然而,这似乎涉及大量手动操作线 - 有没有更好的方法来做到这一点？

Answer 1

你只需要解压缩文件:

with zipfile.ZipFile('/path/to/file', 'r') as z:
    f = z.open('member.csv')
    table = pd.io.parsers.read_table(f, ...)

在filepath_or_buffer对参数read_table接受任何类似文件的说法.