从pandas DataFrame中删除名称中包含特定字符串的列

Ale*_*ont 74 python dataframe pandas

我有一个带有以下列名的pandas数据帧:

Result1,Test1,Result2,Test2,Result3,Test3等......

我想删除名称中包含单词"Test"的所有列.这些列的数量不是静态的,而是取决于先前的函数.

我怎样才能做到这一点?

小智 130

这是一个很好的方法:

df = df[df.columns.drop(list(df.filter(regex='Test')))]
Run Code Online (Sandbox Code Playgroud)

  • 或直接到位:`df.drop(list(df.filter(regex ='Test')),axis = 1,inplace = True)` (33认同)
  • 这是一个比接受的答案更优雅的解决方案.我会把它分解一下以显示原因,主要是提取`list(df.filter(regex ='Test'))`以更好地显示该行正在做什么.我也会选择`df.filter(regex ='Test').列.列表转换 (7认同)
  • 这实际上并不像人们声称的那样好。`filter` 的问题在于它_返回所有数据的副本作为要删除的列_。如果你只是将这个结果传递给 `drop`(它再次返回一个副本),那就太浪费了......更好的解决方案是 `str.startswith`(我已经添加了一个 [answer](https://stackoverflow) .com/a/54410702/4909087)在这里)。 (4认同)
  • 这比公认的答案更优雅。 (2认同)
  • 我真的很想知道说这个答案“优雅”的评论是什么意思。我本人在应该首先阅读python代码时就感到很困惑。它也比第一个答案慢两倍。当“ like”关键字似乎更合适时,它将使用“ regex”关键字。 (2认同)
  • 对于多个条件,可以这样做 `df.drop(df.filter(regex='Test|Rest|Best').columns, axis=1, inplace=True)` (2认同)

Nic*_*Nic 53

import pandas as pd

import numpy as np

array=np.random.random((2,4))

df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))

print df

      Test1      toto     test2      riri
0  0.923249  0.572528  0.845464  0.144891
1  0.020438  0.332540  0.144455  0.741412

cols = [c for c in df.columns if c.lower()[:4] != 'test']

df=df[cols]

print df
       toto      riri
0  0.572528  0.144891
1  0.332540  0.741412
Run Code Online (Sandbox Code Playgroud)

  • OP 没有指定删除应该不区分大小写。 (3认同)

cs9*_*s95 17

便宜,快捷和惯用语: str.contains

在最新版本的熊猫中,可以在索引和列上使用字符串方法。这里,str.startswith似乎很合适。

要删除以给定子字符串开头的所有列:

df.columns.str.startswith('Test')
# array([ True, False, False, False])

df.loc[:,~df.columns.str.startswith('Test')]

  toto test2 riri
0    x     x    x
1    x     x    x
Run Code Online (Sandbox Code Playgroud)

对于不区分大小写的匹配,可以将基于正则表达式的匹配与str.containsSOL锚一起使用:

df.columns.str.contains('^test', case=False)
# array([ True, False,  True, False])

df.loc[:,~df.columns.str.contains('^test', case=False)] 

  toto riri
0    x    x
1    x    x
Run Code Online (Sandbox Code Playgroud)

如果可能使用混合类型,则也要指定na=False

  • 你好,cs95,你能多解释一下语法/语法背后的思想吗?为什么我们需要使用冒号和逗号?那么为什么是 `df.loc[:,df...]` vs `df.loc[df...]` 呢? (2认同)
  • 如果接受的答案对于我的测试数据中以“_drop”结尾的列无法正常工作,则此解决方案确实有效。这应该是公认的答案。 (2认同)

小智 13

使用正则表达式来匹配不包含不需要的单词的所有列:

df = df.filter(regex='^((?!badword).)*$')
Run Code Online (Sandbox Code Playgroud)


小智 11

您可以使用"过滤器"过滤掉您想要的列

import pandas as pd
import numpy as np

data2 = [{'test2': 1, 'result1': 2}, {'test': 5, 'result34': 10, 'c': 20}]

df = pd.DataFrame(data2)

df

    c   result1     result34    test    test2
0   NaN     2.0     NaN     NaN     1.0
1   20.0    NaN     10.0    5.0     NaN
Run Code Online (Sandbox Code Playgroud)

现在过滤

df.filter(like='result',axis=1)
Run Code Online (Sandbox Code Playgroud)

得到..

   result1  result34
0   2.0     NaN
1   NaN     10.0
Run Code Online (Sandbox Code Playgroud)

  • 最佳答案!谢谢。你如何过滤相反的东西?`not like ='result'` (4认同)
  • 然后这样做: df=df.drop(df.filter(like='result',axis=1).columns,axis=1) (3认同)

Phi*_*oud 8

使用DataFrame.select方法:

In [38]: df = DataFrame({'Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10)})

In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
Out[39]:
   awesome
0    1.215
1    1.247
2    0.142
3    0.169
4    0.137
5   -0.971
6    0.736
7    0.214
8    0.111
9   -0.214
Run Code Online (Sandbox Code Playgroud)

  • 现在看到:`FutureWarning: 'select' 已弃用,将在未来版本中删除。您可以使用 .loc[labels.map(crit)] 作为替换` (3认同)

小智 8

问题指出“我想删除名称中包含单词“Test”的所有列。”

test_columns = [col for col in df if 'Test' in col]
df.drop(columns=test_columns, inplace=True)
Run Code Online (Sandbox Code Playgroud)


小智 5

可以使用以下代码在一行中整齐地完成此操作:

df = df.drop(df.filter(regex='Test').columns, axis=1)
Run Code Online (Sandbox Code Playgroud)

  • 类似(并且更快):`df.drop(df.filter(regex='Test').columns, axis=1, inplace=True)` (4认同)
  • 对于多个条件,可以这样做 `df.drop(df.filter(regex='Test|Rest|Best').columns, axis=1, inplace=True)` (4认同)

win*_*and 5

这个方法做的一切都到位了。许多其他答案创建副本并且效率不高:

df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)