如何从 Python 数据框中查找特殊字符

Question

我需要从整个数据框中找到特殊字符。

在下面的数据框中，某些列包含特殊字符，如何查找哪些列包含特殊字符？

如果每列包含特殊字符，则希望为每列显示文本。

Answer 1

例如，您可以设置有效字符的字母表

import string
alphabet = string.ascii_letters+string.punctuation

这是

'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~'

只需使用

df.col.str.strip(alphabet).astype(bool).any()

例如，

df = pd.DataFrame({'col1':['abc', 'hello?'], 'col2': ['ÃÉG', 'Ç']})


    col1    col2
0   abc     ÃÉG
1   hello?  Ç

然后，用上面的字母表，

df.col1.str.strip(alphabet).astype(bool).any()
False
df.col2.str.strip(alphabet).astype(bool).any()
True

语句特殊字符可能非常棘手，因为这取决于您的解释。例如，您可能会或可能不会认为#是特殊字符。此外，某些语言（例如葡萄牙语）可能具有类似字符ã，é而其他语言（例如英语）则不会。

Answer 2

要从数据框列中删除不需要的字符，请使用正则表达式：

def strip_character(dataCol):
    r = re.compile(r'[^a-zA-Z !@#$%&*_+-=|\:";<>,./()[\]{}\']')
    return r.sub('', dataCol)

df[resultCol] = df[dataCol].apply(strip_character)