从列中的字符串中删除不需要的部分
Yan*_*ang 100 python string dataframe pandas
我正在寻找一种有效的方法来从DataFrame列中的字符串中删除不需要的部分.
数据看起来像:
time result
1 09:00 +52A
2 10:00 +62B
3 11:00 +44a
4 12:00 +30b
5 13:00 -110a
我需要将这些数据修剪为:
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
我试过了.str.lstrip('+-').str.rstrip('aAbBcC'),但得到一个错误:
TypeError: wrapper() takes exactly 1 argument (2 given)
任何指针将不胜感激!
eum*_*iro 136
data['result'] = data['result'].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))
Cod*_*375 48
我使用pandas替换功能,非常简单和强大,因为你可以使用正则表达式.下面我使用正则表达式\ D来删除任何非数字字符,但显然你可以使用正则表达式获得相当的创意.
data['result'].replace(regex=True,inplace=True,to_replace=r'\D',value=r'')
cs9*_*s95 34
如何从列的字符串中删除不需要的部分？
在最初提出问题的6年后，pandas现在有大量的“矢量化”字符串函数，可以简洁地执行这些字符串操作操作。
该答案将探索其中的一些字符串函数，提出更快的替代方法，最后进行时序比较。
.str.replace
指定要匹配的子字符串/样式，以及要替换为的子字符串。
pd.__version__
# '0.24.1'
df
time result
1 09:00 +52A
2 10:00 +62B
3 11:00 +44a
4 12:00 +30b
5 13:00 -110a
df['result'] = df['result'].str.replace(r'\D', '')
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
如果您需要将结果转换为整数，则可以使用Series.astype，
df['result'] = df['result'].str.replace(r'\D', '').astype(int)
df.dtypes
time object
result int64
dtype: object
如果您不想df就地修改，请使用DataFrame.assign：
df2 = df.assign(result=df['result'].str.replace(r'\D', ''))
df
# Unchanged
.str.extract
对于提取要保留的子字符串很有用。
df['result'] = df['result'].str.extract(r'(\d+)', expand=False)
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
使用extract，必须指定至少一个捕获组。expand=False将返回带有第一个捕获组中捕获项目的系列。
.str.split 和 .str.get
假设您所有的字符串都遵循此一致的结构，则拆分工作有效。
# df['result'] = df['result'].str.split(r'\D').str[1]
df['result'] = df['result'].str.split(r'\D').str.get(1)
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
如果您正在寻找一般解决方案，则不建议使用。
如果您对
str以上基于简洁和可读的访问器的解决方案感到满意，则可以在此处停止。但是，如果您对更快，性能更高的替代产品感兴趣，请继续阅读。
优化：列表理解
在某些情况下，列表理解应优于熊猫字符串函数。原因是因为字符串函数本来就很难向量化（从字面上看），所以大多数字符串和正则表达式函数只是循环包装，开销更大。
我的文章，For与熊猫的循环-我什么时候应该关心？，详细介绍。
该str.replace选项可以使用重写re.sub
import re
# Pre-compile your regex pattern for more performance.
p = re.compile(r'\D')
df['result'] = [p.sub('', x) for x in df['result']]
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
该str.extract示例可以使用列表理解用来重写re.search，
p = re.compile(r'\d+')
df['result'] = [p.search(x)[0] for x in df['result']]
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
如果可能出现NaN或不匹配的情况，则您需要重新编写上面的内容以包含一些错误检查。我使用一个函数来做到这一点。
def try_extract(pattern, string):
try:
m = pattern.search(string)
return m.group(0)
except (TypeError, ValueError, AttributeError):
return np.nan
p = re.compile(r'\d+')
df['result'] = [try_extract(p, x) for x in df['result']]
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
我们还可以使用列表推导来重写@eumiro和@MonkeyButter的答案：
df['result'] = [x.lstrip('+-').rstrip('aAbBcC') for x in df['result']]
和，
df['result'] = [x[1:-1] for x in df['result']]
适用处理NaN等的相同规则。
性能比较
使用perfplot生成的图。完整的代码清单，供您参考。相关功能在下面列出。
这些比较中的一些比较不公平，因为它们利用了OP数据的结构，但从中得到了好处。需要注意的一件事是，每个列表理解功能都比其等效的pandas变体更快或更可比。
功能
Run Code Online (Sandbox Code Playgroud)def eumiro(df): return df.assign( result=df['result'].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))) def coder375(df): return df.assign( result=df['result'].replace(r'\D', r'', regex=True)) def monkeybutter(df): return df.assign(result=df['result'].map(lambda x: x[1:-1])) def wes(df): return df.assign(result=df['result'].str.lstrip('+-').str.rstrip('aAbBcC')) def cs1(df): return df.assign(result=df['result'].str.replace(r'\D', '')) def cs2_ted(df): # `str.extract` based solution, similar to @Ted Petrou's. so timing together. return df.assign(result=df['result'].str.extract(r'(\d+)', expand=False)) def cs1_listcomp(df): return df.assign(result=[p1.sub('', x) for x in df['result']]) def cs2_listcomp(df): return df.assign(result=[p2.search(x)[0] for x in df['result']]) def cs_eumiro_listcomp(df): return df.assign( result=[x.lstrip('+-').rstrip('aAbBcC') for x in df['result']]) def cs_mb_listcomp(df): return df.assign(result=[x[1:-1] for x in df['result']])
- 对于像我这样刚接触 REGEX 的人来说，\D 与 [^\d]（任何不是数字的东西）相同[来自这里](http://www.regular-expressions.info/shorthand.html)。所以我们基本上将字符串中的所有非数字替换为空。 (3认同)
- 这样一个完整的答案应该是THE答案。 (3认同)
prl*_*900 31
在您知道要从dataframe列中删除的位置数的特定情况下,您可以在lambda函数中使用字符串索引来删除这些部分:
最后一个字符
data['result'] = data['result'].map(lambda x: str(x)[:-1])
前两个字符:
data['result'] = data['result'].map(lambda x: str(x)[2:])
Wes*_*ney 16
这里有一个错误:目前无法通过参数str.lstrip和str.rstrip:
http://github.com/pydata/pandas/issues/2411
编辑:2012-12-07这现在在开发分支上工作:
In [8]: df['result'].str.lstrip('+-').str.rstrip('aAbBcC')
Out[8]:
1 52
2 62
3 44
4 30
5 110
Name: result
Ted*_*rou 10
一种非常简单的方法是使用该extract方法来选择所有数字.只需提供正则表达式'\d+',它可以提取任意数量的数字.
df['result'] = df.result.str.extract(r'(\d+)', expand=True).astype(int)
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110
我经常对这些类型的任务使用列表推导,因为它们通常更快.
执行此类操作的各种方法之间的性能可能存在很大差异(即,在DataFrame中修改系列的每个元素).列表理解通常最快 - 请参阅下面的代码竞赛以完成此任务:
import pandas as pd
#Map
data = pd.DataFrame({'time':['09:00','10:00','11:00','12:00','13:00'], 'result':['+52A','+62B','+44a','+30b','-110a']})
%timeit data['result'] = data['result'].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))
10000 loops, best of 3: 187 µs per loop
#List comprehension
data = pd.DataFrame({'time':['09:00','10:00','11:00','12:00','13:00'], 'result':['+52A','+62B','+44a','+30b','-110a']})
%timeit data['result'] = [x.lstrip('+-').rstrip('aAbBcC') for x in data['result']]
10000 loops, best of 3: 117 µs per loop
#.str
data = pd.DataFrame({'time':['09:00','10:00','11:00','12:00','13:00'], 'result':['+52A','+62B','+44a','+30b','-110a']})
%timeit data['result'] = data['result'].str.lstrip('+-').str.rstrip('aAbBcC')
1000 loops, best of 3: 336 µs per loop
假设您的 DF 在数字之间也有那些额外的字符。最后一个条目。
result time
0 +52A 09:00
1 +62B 10:00
2 +44a 11:00
3 +30b 12:00
4 -110a 13:00
5 3+b0 14:00
您可以尝试 str.replace 不仅从开头和结尾删除字符，还可以从中间删除字符。
DF['result'] = DF['result'].str.replace('\+|a|b|\-|A|B', '')
输出：
result time
0 52 09:00
1 62 10:00
2 44 11:00
3 30 12:00
4 110 13:00
5 30 14:00