如何获得朴素贝叶斯功能的重要性？

Question

我有一个评论集，它的类别标签为正/负。我正在将朴素贝叶斯应用于该评论数据集。首先，我要转换成单词袋。这里sorted_data ['Text']是评论，而final_counts是稀疏矩阵

count_vect = CountVectorizer() 
final_counts = count_vect.fit_transform(sorted_data['Text'].values)

我将数据分为训练和测试数据集。

X_1, X_test, y_1, y_test = cross_validation.train_test_split(final_counts, labels, test_size=0.3, random_state=0)

我正在应用朴素贝叶斯算法如下

optimal_alpha = 1
NB_optimal = BernoulliNB(alpha=optimal_aplha)

# fitting the model
NB_optimal.fit(X_tr, y_tr)

# predict the response
pred = NB_optimal.predict(X_test)

# evaluate accuracy
acc = accuracy_score(y_test, pred) * 100
print('\nThe accuracy of the NB classifier for k = %d is %f%%' % (optimal_aplha, acc))

这里X_test是测试数据集，其中pred变量为我们提供X_test中的向量是正类还是负类。

X_test形状为（54626行，尺寸为82343）

pred的长度是54626

我的问题是我想获得每个向量中概率最高的单词，以便我可以通过单词了解为什么它预测为正类或负类。因此，如何获得每个向量中概率最高的单词？

Answer 1

您可以使用coefs_或feature_log_prob_属性来获取适合模型中每个单词的重要性。例如

neg_class_prob_sorted = NB_optimal.feature_log_prob_[0, :].argsort()
pos_class_prob_sorted = NB_optimal.feature_log_prob_[1, :].argsort()

print(np.take(count_vect.get_feature_names(), neg_class_prob_sorted[:10]))
print(np.take(count_vect.get_feature_names(), pos_class_prob_sorted[:10]))

为您的每个班级输出前十个最具预测性的单词。

Answer 2

不幸的是，我不同意接受的答案，因为他们正在输出条件日志 probs。例如（这就是我实际发生的事情，这就是我提出不同方法的原因），假设您使用朴素贝叶斯进行情感分析，并且您在答案中使用 feature_log_prob_ 。单词“the”的feature_log_prob_是Prob(the | y==1)，因为单词“the”确实很可能出现，所以这将被视为“重要特征”；但请记住，Prob(the | y==1) 也确实有可能（因为无论情绪是积极还是消极，“the”一词都会出现）。因此，如果您没有删除停用词，则对于预测情感分类器中的负类，该词将比“WORSE”一词更重要。这显然是不直观且错误的。我在一个项目中就发生过这样的事。

如果有人提到 Prob(the | y==1) 仍然很高：是的，“the”这个词有助于预测正类，因为 Prob(the | y==1) 很高，但它同样有帮助预测负类，因此没有效果（不重要）。

建议的解决方案：

我也遇到了同样的麻烦，也许这是数据科学交流论坛，但我想将其发布在这里，因为我取得了很好的结果。

第一的：

• 代表正类，

• 代表负类。P()代表概率。

我们将建立优势比，可以证明它等于 P(word i ,+) / P(word i ,-) （如果您需要演示，请告诉我）。如果这个比率大于1，则意味着单词i更有可能出现在正向文本中而不是负向文本中。

这些是朴素贝叶斯模型中的先验：

# remember normalize=True outputs proportion 
prob_pos = df_train['y'].value_counts(normalize=True)[0]
prob_neg = df_train['y'].value_counts(normalize=True)[1]

创建一个数据框来存储单词

df_nbf = pd.DataFrame()
df_nbf.index = count_vect.get_feature_names()
# Convert log probabilities to probabilities. 
df_nbf['pos'] = np.e**(nb.feature_log_prob_[0, :])
df_nbf['neg'] = np.e**(nb.feature_log_prob_[1, :])

 
df_nbf['odds_positive'] = (df_nbf['pos']/df_nbf['neg'])*(prob_pos /prob_neg)

df_nbf['odds_negative'] = (df_nbf['neg']/df_nbf['pos'])*(prob_neg/prob_pos )

最重要的话。这将为您提供 >1 的比率。例如，“该死”一词的 odds_ratio_negative =2 意味着当评论或您的类别为负面时，与您的正面类别相比，该词出现的可能性是负面的两倍。

# Here are the top5 most important words of your positive class:
odds_pos_top5 = df_nbf.sort_values('odds_positive',ascending=False)['odds_positive'][:5]
# Here are the top5 most important words of your negative class:
odds_neg_top5 = df_nbf.sort_values('odds_negative',ascending=False)['odds_negative'][:5]