小编mle*_*evy的帖子

在模型调整中使用交叉验证，我从caret::train的results对象中获得不同的错误率，并自己计算其对象上的错误pred。我想了解它们为何不同，以及理想情况下如何使用折叠错误率进行模型选择、绘制模型性能等。

该pred对象包含折叠外的预测。该文档非常清楚，trainControl(..., savePredictions = "final")保存了最佳超参数值的折叠预测：“应保存每次重采样的保留预测量的指标......“最终”保存了最佳调整的预测参数。” （保留“所有”预测然后过滤到最佳调整值并不能解决问题。）

文档train说该results对象是“训练错误率的数据框......”我不确定这意味着什么，但最佳行的值始终与 上计算的指标不同pred。为什么它们不同以及如何使它们对齐？

d <- data.frame(y = rnorm(50))
d$x1 <- rnorm(50, d$y)
d$x2 <- rnorm(50, d$y)
train_control <- caret::trainControl(method = "cv",
                                     number = 4,
                                     search = "random",
                                     savePredictions = "final")
m <- caret::train(x = d[, -1],
                     y = d$y,
                     method = "ranger",
                     trControl = train_control,
                     tuneLength = 3)
#> Loading required package: lattice
#> Loading required package: ggplot2
m …