多级模型的准确性,精确度和召回率

Question

如何从Naive Bayes模型计算每个班级的准确度,精确度和召回率？我正在使用嵌入式数据集:iris和package tree以及针对Naive Bayes的e1071包.混淆矩阵如下:

prediction   setosa versicolor virginica
setosa         29          0         0
versicolor      0         20         2
virginica       0          3        21

PS:请注意,我使用75个条目作为训练集,其他用于测试:

iris.train <- c(sample(1:150, 75)) # have selected 75 randomly

Answer 1

在整个答案中,mat您描述的是混淆矩阵.

您可以使用以下方法计算和存储准

(accuracy <- sum(diag(mat)) / sum(mat))
# [1] 0.9333333

每个类的精度(假设预测在行上,真实结果在列上)可以用以下公式计算:

(precision <- diag(mat) / rowSums(mat))
#     setosa versicolor  virginica 
#  1.0000000  0.9090909  0.8750000 

如果你想获取特定类的精度,你可以这样做:

(precision.versicolor <- precision["versicolor"])
# versicolor 
#  0.9090909 

召回每个类(再次假设预测在行上,真实结果在列上)可以用以下公式计算:

recall <- (diag(mat) / colSums(mat))
#     setosa versicolor  virginica 
#  1.0000000  0.8695652  0.9130435 

如果您想要回忆某个特定课程,您可以执行以下操作:

(recall.virginica <- recall["virginica"])
# virginica 
# 0.9130435 

如果您将真实结果作为行并将预测结果作为列,那么您将翻转精度并调用定义.

数据:

(mat = as.matrix(read.table(text="  setosa versicolor virginica
 setosa         29          0         0
 versicolor      0         20         2
 virginica       0          3        21", header=T)))
#            setosa versicolor virginica
# setosa         29          0         0
# versicolor      0         20         2
# virginica       0          3        21