从Python中删除字符串中的所有十六进制字符

Question

虽然有类似的问题,但我似乎无法为我的案例找到一个有效的解决方案:

我在字符串中遇到一些讨厌的十六进制字符,例如

'\xe2\x80\x9chttp://www.google.com\xe2\x80\x9d blah blah#%#@$^blah'

我需要的是删除这些十六进制\xHH字符,并单独删除它们,以获得以下结果:

'http://www.google.com blah blah#%#@$^blah'

解码没有帮助:

s.decode('utf8') # u'\u201chttp://www.google.com\u201d blah blah#%#@$^blah'

我怎样才能做到这一点？

Answer 1

只需删除所有非ASCII字符:

>>> s.decode('utf8').encode('ascii', errors='ignore')
'http://www.google.com blah blah#%#@$^blah'

其他可能的方案:

>>> import string
>>> s = '\xe2\x80\x9chttp://www.google.com\xe2\x80\x9d blah blah#%#@$^blah'
>>> printable = set(string.printable)
>>> filter(lambda x: x in printable, s)
'http://www.google.com blah blah#%#@$^blah'

或使用正则表达式:

>>> import re
>>> re.sub(r'[^\x00-\x7f]',r'', s) 
'http://www.google.com blah blah#%#@$^blah'

选择你最喜欢的一个.

Answer 2

这些不是"十六进制字符",而是内部表示(第一种情况下为utf-8编码,第二种情况下为unicode代码点)的unicode字符"LEFT DOUBLE QUOTATION MARK"("")和"右双引号" '(''').

>>> s = "\xe2\x80\x9chttp://www.google.com\xe2\x80\x9d blah blah#%#@$^blah"
>>> print s
“http://www.google.com” blah blah#%#@$^blah
>>> s.decode("utf-8")
u'\u201chttp://www.google.com\u201d blah blah#%#@$^blah'
>>> print s.decode("utf-8")
“http://www.google.com” blah blah#%#@$^blah

至于如何删除它们,它们只是普通的字符,所以简单的str.replace()做法:

>>> s.replace("\xe2\x80\x9c", "").replace("\xe2\x80\x9d", "")
'http://www.google.com blah blah#%#@$^blah'

如果你想一次性删除所有非ascii字符,你只需要解码为unicode然后使用"ignore"参数编码为ascii:

>>> s.decode("utf-8").encode("ascii", "ignore")
'http://www.google.com blah blah#%#@$^blah'