.gz文件到带有hive定界符的pandas DataFrame

Question

当我尝试加载我的.gz数据文件时,我得到一个非常奇怪的结果.

我的代码非常简单

dt = pd.read_table(gzip.open(file.gz))

但我得到一个非常奇怪的分隔符.我曾预料到一个标签('\ t'),但iPython认为它是一个白色的左点三角形.大多数其他程序根本看不到它.

数据最初来自paramiko的蜂巢,如果重要的话,我可以提供更多细节.有没有人建议如何界定这样的事情？

编辑:

print(gzip.open("file.gz").read()[-5])

确切地返回此字符.

和

In [28] gzip.open("file.gz").read()[-5]
Out[28]: '\x01'

Answer 1

pd.read_table("file.gz",compression='gzip',sep='\x01')

要么

pd.read_table(gzip.open('file.gz'),sep='\x01')

两者都会这样做.