如何绘制不同插入符训练模型的 AUC ROC？

Question

这是一个代表

library(caret)
library(dplyr)

set.seed(88, sample.kind = "Rounding")

mtcars <- mtcars %>%
  mutate(am = as.factor(am))

test_index <- createDataPartition(mtcars$am, times = 1, p= 0.2, list = F)

train_cars <- mtcars[-test_index,]

test_cars <- mtcars[test_index,]

set.seed(88, sample.kind = "Rounding")
cars_nb <- train(am ~ mpg + cyl,
                data = train_cars, method = "nb", 
                trControl = trainControl(method = "cv", number = 10, savePredictions = "final"))

cars_glm <- train(am ~ mpg + cyl,
                 data = train_cars, method = "glm", 
                 trControl = trainControl(method = "cv", number = 10, savePredictions = "final"))

我的问题是，如何在单个图上创建 AUC ROC 曲线以直观地比较两个模型？

Answer 1

我假设您想要显示测试集上的 ROC 曲线，这与使用训练数据的评论中指出的问题（插入符号中训练数据的 ROC 曲线）不同。

要做的第一件事是以newdata=test_cars概率 ( ) 的形式提取对测试数据 ( type="prob") 的预测：

predictions_nb <- predict(cars_nb, newdata=test_cars, type="prob")
predictions_glm <- predict(cars_glm, newdata=test_cars, type="prob")

这为我们提供了一个 data.frame，其概率属于类别 0 或 1。让我们仅使用类别 1 的概率：

predictions_nb <- predict(cars_nb, newdata=test_cars, type="prob")[,"1"]
predictions_glm <- predict(cars_glm, newdata=test_cars, type="prob")[,"1"]

接下来，我将使用 pROC 包为训练数据创建 ROC 曲线（免责声明：我是该包的作者。还有其他方法可以实现结果，但这是我最熟悉的方法）：

library(pROC)
roc_nb <- roc(test_cars$am, predictions_nb)
roc_glm <- roc(test_cars$am, predictions_glm)

最后您可以绘制曲线。要使用 pROC 包获得两条曲线，请使用该lines函数将第二条 ROC 曲线的线添加到图中

plot(roc_nb, col="green")
lines(roc_glm, col="blue")

为了使其更具可读性，您可以添加图例：

legend("bottomright", col=c("green", "blue"), legend=c("NB", "GLM"), lty=1)

以及 AUC：

legend_nb <- sprintf("NB (AUC: %.2f)", auc(roc_nb))
legend_glm <- sprintf("GLM (AUC: %.2f)", auc(roc_glm))
legend("bottomright",
       col=c("green", "blue"), lty=1,
       legend=c(legend_nb, legend_glm))