随机森林的tuneRF与插入符调谐

Question

我尝试使用 randomForest 包中包含的uneRF工具来调整随机森林模型，并且我还使用插入符包来调整我的模型。问题是我正在尝试进行 mtry，并且每种方法都会得到不同的结果。问题是我如何知道哪种方法是最好的方法以及基于什么？我不清楚我是否应该期待类似或不同的结果。

uneRF：通过这种方法，我得到的最佳 mtry 是 3

t <- tuneRF(train[,-12], train[,12],
        stepFactor = 0.5,
        plot = TRUE,
        ntreeTry = 100,
        trace = TRUE,
        improve = 0.05)

插入符号：通过这种方法，我总是得到最好的 mtry 是这种情况下的所有变量 6

control <- trainControl(method="cv", number=5)
tunegrid <- expand.grid(.mtry=c(2:6))
set.seed(2)
custom <- train(CRTOT_03~., data=train, method="rf", metric="rmse", 
                tuneGrid=tunegrid, ntree = 100, trControl=control)

Answer 1

有一些差异，对于每个 mtry 参数，tuneRF 在整个数据集上拟合一个模型，并且您可以从每个拟合中获得 OOB 误差。然后，tuneRF 会采用最低的 OOB 错误。对于 mtry 的每个值，您都有一个分数（或 RMSE 值），并且该分数会随着不同的运行而变化。

在插入符中，您实际上进行了交叉验证，因此模型中根本不使用折叠中的测试数据。虽然原则上它应该与 OOB 类似，但您应该意识到其中的差异。

对错误有更好的了解的评估可能是运行tunerRF几轮，我们可以在插入符中使用cv：

library(randomForest)
library(mlbench)
data(BostonHousing)
train <- BostonHousing

tuneRF_res = lapply(1:10,function(i){

tr = tuneRF(train[,-14], train[,14],mtryStart=2,step=0.9,ntreeTry = 100,trace = TRUE,improve=1e-5)
tr = data.frame(tr)
tr$RMSE = sqrt(tr[,2])
tr
})

tuneRF_res = do.call(rbind,tuneRF_res)

control <- trainControl(method="cv", number=10,returnResamp="all")
tunegrid <- expand.grid(.mtry=c(2:7))
caret_res <- train(medv ~., data=train, method="rf", metric="RMSE", 
                tuneGrid=tunegrid, ntree = 100, trControl=control)

library(ggplot2)
df = rbind(
data.frame(tuneRF_res[,c("mtry","RMSE")],test="tuneRF"),
data.frame(caret_res$resample[,c("mtry","RMSE")],test="caret")
)
df = df[df$mtry!=1,]

ggplot(df,aes(x=mtry,y=RMSE,col=test))+
stat_summary(fun.data=mean_se,geom="errorbar",width=0.2) +
stat_summary(fun=mean,geom="line") + facet_wrap(~test)

您可以看到趋势或多或少相似。我的建议是使用tuneRF快速检查要训练的mtry的范围，然后使用脱字符号、交叉验证来正确评估这一点。