计算一个单词在n条推文中出现的次数

Question

我的数据帧大约有118,000条推文。这是一个组成的样本：

Tweets
1 The apple is red
2 The grape is purple
3 The tree is green 

我还使用了“设置”功能来获得在我的推文数据框中找到的每个唯一单词的列表。对于上面的示例，它看起来像这样（无特定顺序）：

Words
1 The
2 is
3 apple
4 grape 
....so on

基本上，我需要找出包含给定单词的推文数量。例如，在3条推文中找到“ The”，在1条推文中找到“ apple”，在3条推文中找到“ is”，依此类推。

我尝试过使用嵌套的for循环，如下所示：

number_words = [0]*len(words)
for i in range(len(words)):
    for j in range(len(tweets)):
        if words[i] in tweets[j]:
            number_words[i] += 1
number_words

这将创建一个新列表，并为列表中的每个单词计算包含给定单词的推文数量。但是，我发现这种极其低效的代码块需要永远运行。

有什么更好的方法可以做到这一点？

Answer 1

您可以使用：str.count

df.Tweets.str.count(word).sum()

例如，我想单词是列表

for word in Words:
    print(f'{word} count: {df.Tweets.str.count(word).sum()}')

完整样本：

import pandas as pd
data = """    
Tweets
The apple is red
The grape is purple
The tree is green 
"""
datb = """    
Words
The
is
apple
grape 
    """

dfa = pd.read_csv(pd.compat.StringIO(data), sep=';')
dfb = pd.read_csv(pd.compat.StringIO(datb), sep=';')

Words = dfb['Words'].values
dico = {}
for word in Words:
    dico[word] = dfa.Tweets.str.count(word).sum()

print(dico)

输出：

{'The': 3, 'is': 3, 'apple': 1, 'grape ': 1}