检查文本列 pandas 中的停用词数量

Question

如何检查文本列 pandas 中存在的停用词数量。我有一个巨大的数据集，因此非常感谢有效的方法。

from nltk.corpus import stopwords    
stop_words = set(stopwords.words('english'))

print(df)
      text                      
0  stackoverflow is good              
1  stackoverflow is not good     

这是我想要的输出吗？

print(df)
      text                      number_of_stopwords
0  stackoverflow is good              1
1  stackoverflow is not good          2

我尝试过类似下面的方法，但没有成功。

df.str.split().apply(lambda x: len(x in stop_words))

Answer 1

使用集合的交集：

from nltk.corpus import stopwords    
stop_words = set(stopwords.words('english'))

df['n'] = df['text'].str.split().apply(lambda x: len(set(x) & stop_words))

或者：

df['n'] = df['text'].apply(lambda x: len(set(x.split()) & stop_words))

print (df)
                        text  n
0      stackoverflow is good  1
1  stackoverflow is not good  2