熊猫,读取CSV忽略额外的逗号

Question

我在Pandas数据框中读了一个包含8列的CSV文件.最后一列包含一条错误消息,其中一些包含逗号.这会导致文件读取失败并显示错误ParserError: Error tokenizing data. C error: Expected 8 fields in line 21922, saw 9

有没有办法忽略第8个字段后的所有逗号,而不是必须通过文件删除多余的逗号？

读取文件的代码:

import pandas as pd
df = pd.read_csv('C:\\somepath\\output.csv')

有效的线:

061AE,Active,001,2017_02_24 15_18_01,00006,1,00013,some message

失败的行:

061AE,Active,001,2017_02_24 15_18_01,00006,1,00013,longer message, with commas

Answer 1

您可以使用re.sub'|'替换前几个逗号，将中间结果保存在StringIO随后的处理中。

import pandas as pd
from io import StringIO
import re

for_pd = StringIO()
with open('MikeS159.csv') as mike:
    for line in mike:
        new_line = re.sub(r',', '|', line.rstrip(), count=7)
        print (new_line, file=for_pd)

for_pd.seek(0)

df = pd.read_csv(for_pd, sep='|', header=None)
print (df)

我将您的问题的两行放入文件中以获取此输出。

       0       1  2                    3  4  5   6  \
0  061AE  Active  1  2017_02_24 15_18_01  6  1  13   
1  061AE  Active  1  2017_02_24 15_18_01  6  1  13   

                             7  
0                 some message  
1  longer message, with commas  

Answer 2

您可以在 read_csv 函数中使用参数 usecols 来限制您读取的列。例如：

import pandas as pd
pd.read_csv(path, usecols=range(8))

如果您只想阅读前 8 列。