pandas read_csv:忽略带有空数据的尾随行

Ann*_*nne 6 python pandas

我想从 csv 文件中读取以下数据:

id;type;start;end
Test;OIS;01/07/2016;01/07/2018
;;;
;;;
Run Code Online (Sandbox Code Playgroud)

但是,pandas read_csv 也会尝试读取空行;;;。有没有办法自动忽略这些空数据的尾随行?

这些行导致了问题,因为我使用read_csvwith converters,并且转换器中的函数在遇到无效数据时会尽职尽责地抛出异常,这意味着我什至没有到达有效的数据帧。我可以更改函数以将无效数据转换为NaN然后NaN从数据框中删除s,但随后我会默默地删除错误数据以及那些空行。

一些澄清:

  • 空数据行总是拖尾,这是从 Excel 生成的 csv 文件的常见问题。
  • 数据是用户生成的,因此手动清理文件不是一种选择。

Pad*_*ham 6

不确定你可以直接使用 read_csv 但你可以使用 dropna:

import pandas as pd

df= pd.read_csv("in.csv", delimiter=";")
df.dropna(how="all", inplace=True) 
print(df)
Run Code Online (Sandbox Code Playgroud)