如何从包含特定列中特定字符串的pandas数据框中删除行？

Question

我在python中有一个非常大的数据框,我想删除在特定列中具有特定字符串的所有行.

例如,我想删除所有具有字符串"XYZ"的行作为数据帧的C列中的子字符串.

可以使用.drop()方法以有效的方式实现吗？

Answer 1

pandas具有矢量化字符串操作,因此您只需过滤掉包含您不需要的字符串的行:

In [91]: df = pd.DataFrame(dict(A=[5,3,5,6], C=["foo","bar","fooXYZbar", "bat"]))

In [92]: df
Out[92]:
   A          C
0  5        foo
1  3        bar
2  5  fooXYZbar
3  6        bat

In [93]: df[~df.C.str.contains("XYZ")]
Out[93]:
   A    C
0  5  foo
1  3  bar
3  6  bat

Answer 2

如果您的字符串约束不只是一个字符串,您可以删除相应的行:

df = df[~df['your column'].isin(['list of strings'])]

上面将删除包含列表元素的所有行

Answer 3

这仅在您想要比较完全字符串时才有效.如果要检查列字符串是否包含列表中的任何字符串,它将不起作用.

与列表进行比较的正确方法是:

searchfor = ['john', 'doe']
df = df[~df.col.str.contains('|'.join(searchfor))]

Answer 4

对代码稍作修改。有NA =假将跳过空值。否则，您将收到错误TypeError：一元〜的错误操作数类型〜：float

df[~df.C.str.contains("XYZ", na=False)]

源：TypeError：一元〜的错误操作数类型：： float

Answer 5

new_df = df[df.C != 'XYZ']

参考:https://chrisalbon.com/python/data_wrangling/pandas_dropping_column_and_rows/

Answer 6

以下代码将为您提供所有行的列表：-

df[df['C'] != 'XYZ']

要将上述代码中的值存储到数据帧中：-

newdf = df[df['C'] != 'XYZ']