sno*_*eji 33 r machine-learning prediction xgboost
我一直在探索xgboostR中的软件包,并经历了几个演示以及教程,但这仍然让我感到困惑:在使用xgb.cv交叉验证之后,最佳参数如何传递给xgb.train？或者我应该根据输出计算理想参数(例如nround,max.depth)xgb.cv？
param <- list("objective" = "multi:softprob",
"eval_metric" = "mlogloss",
"num_class" = 12)
cv.nround <- 11
cv.nfold <- 5
mdcv <-xgb.cv(data=dtrain,params = param,nthread=6,nfold = cv.nfold,nrounds = cv.nround,verbose = T)
md <-xgb.train(data=dtrain,params = param,nround = 80,watchlist = list(train=dtrain,test=dtest),nthread=6)
sil*_*ilo 75
看起来你误解了xgb.cv,它不是一个参数搜索功能.它只进行k折叠交叉验证.
在您的代码中,它不会更改值param.
要在R的XGBoost中找到最佳参数,有一些方法.这是两种方法,
(1)使用mlr包,http://mlr-org.github.io/mlr-tutorial/release/html/
在Kaggle的Prudential挑战中有一个XGBoost + mlr 示例代码,
但该代码用于回归,而不是分类.据我所知,目前还没有包含mlogloss度量标准mlr,因此您必须自己编写mlogloss测量值.CMIIW.
(2)第二种方法,通过手动设置参数然后重复,例如,
param <- list(objective = "multi:softprob",
eval_metric = "mlogloss",
num_class = 12,
max_depth = 8,
eta = 0.05,
gamma = 0.01,
subsample = 0.9,
colsample_bytree = 0.8,
min_child_weight = 4,
max_delta_step = 1
)
cv.nround = 1000
cv.nfold = 5
mdcv <- xgb.cv(data=dtrain, params = param, nthread=6,
nfold=cv.nfold, nrounds=cv.nround,
verbose = T)
然后,你找到最好的(最小)mlogloss,
min_logloss = min(mdcv[, test.mlogloss.mean])
min_logloss_index = which.min(mdcv[, test.mlogloss.mean])
min_logloss是mlogloss的最小值,而是min_logloss_index索引(圆形).
您必须多次重复上述过程,每次手动更改参数(mlr重复为您).直到最后,你会得到最好的全球最低min_logloss.
注意:您可以在100或200次迭代的循环中执行此操作,其中对于每次迭代,您可以随机设置参数值.这样,您必须保存最好[parameters_list, min_logloss, min_logloss_index]的变量或文件.
注意:最好设置随机种子,以set.seed()获得可重现的结果.不同的随机种子产生不同的结果 因此,您必须保存[parameters_list, min_logloss, min_logloss_index, seednumber]在变量或文件中.
说最后你在3次迭代/重复中得到3个结果:
min_logloss = 2.1457, min_logloss_index = 840
min_logloss = 2.2293, min_logloss_index = 920
min_logloss = 1.9745, min_logloss_index = 780
然后,你必须使用第三个参数(它有全球最小min_logloss的1.9745).你的最佳指数(nrounds)是780.
一旦获得最佳参数,请在培训中使用它,
# best_param is global best param with minimum min_logloss
# best_min_logloss_index is the global minimum logloss index
nround = 780
md <- xgb.train(data=dtrain, params=best_param, nrounds=nround, nthread=6)
我不认为你需要watchlist在培训中,因为你已经完成了交叉验证.但如果您仍想使用watchlist,那就没关系.
更好的是你可以使用早期停止xgb.cv.
mdcv <- xgb.cv(data=dtrain, params=param, nthread=6,
nfold=cv.nfold, nrounds=cv.nround,
verbose = T, early.stop.round=8, maximize=FALSE)
使用此代码,当mlogloss值不是以8个步骤递减时,xgb.cv将停止.你可以节省时间.您必须设置maximize到FALSE,因为你期望最低mlogloss.
这是一个示例代码,具有100个迭代循环和随机选择的参数.
best_param = list()
best_seednumber = 1234
best_logloss = Inf
best_logloss_index = 0
for (iter in 1:100) {
param <- list(objective = "multi:softprob",
eval_metric = "mlogloss",
num_class = 12,
max_depth = sample(6:10, 1),
eta = runif(1, .01, .3),
gamma = runif(1, 0.0, 0.2),
subsample = runif(1, .6, .9),
colsample_bytree = runif(1, .5, .8),
min_child_weight = sample(1:40, 1),
max_delta_step = sample(1:10, 1)
)
cv.nround = 1000
cv.nfold = 5
seed.number = sample.int(10000, 1)[[1]]
set.seed(seed.number)
mdcv <- xgb.cv(data=dtrain, params = param, nthread=6,
nfold=cv.nfold, nrounds=cv.nround,
verbose = T, early.stop.round=8, maximize=FALSE)
min_logloss = min(mdcv[, test.mlogloss.mean])
min_logloss_index = which.min(mdcv[, test.mlogloss.mean])
if (min_logloss < best_logloss) {
best_logloss = min_logloss
best_logloss_index = min_logloss_index
best_seednumber = seed.number
best_param = param
}
}
nround = best_logloss_index
set.seed(best_seednumber)
md <- xgb.train(data=dtrain, params=best_param, nrounds=nround, nthread=6)
使用此代码,您可以运行交叉验证100次,每次使用随机参数.然后你得到最好的参数集,即迭代中的最小参数集min_logloss.
增加值,early.stop.round以防你发现它太小(太早停止).您还需要根据数据特征更改随机参数值的限制.
并且,对于100或200次迭代,我认为您想要更改verbose为FALSE.
旁注:这是随机方法的示例,您可以通过贝叶斯优化来调整它以获得更好的方法.如果你有XGBoost的Python版本,那么XGBoost有一个很好的超参数脚本,https://github.com/mpearmain/BayesBoost可以搜索使用贝叶斯优化设置的最佳参数.
编辑:我想在Kaggle论坛中添加第3个手动方法,由"Davut Polat"和Kaggle大师发布.
编辑:如果您了解Python和sklearn,您还可以使用GridSearchCV以及xgboost.XGBClassifier或xgboost.XGBRegressor
这是一个很好的问题，并且来自筒仓的很好的答复，有很多细节！我发现它对xgboost喜欢我的新人很有帮助。谢谢你。随机化并与边界进行比较的方法非常鼓舞人心。很好用，很高兴知道。现在在 2018 年需要进行一些轻微的修改，例如early.stop.round应该是early_stopping_rounds. 输出mdcv的组织方式略有不同：
min_rmse_index <- mdcv$best_iteration
min_rmse <- mdcv$evaluation_log[min_rmse_index]$test_rmse_mean
并且取决于应用程序（线性、逻辑等...）objective，eval_metric和 参数应相应调整。
为了方便运行回归的任何人，这里是稍微调整过的代码版本（大多数与上面相同）。
library(xgboost)
# Matrix for xgb: dtrain and dtest, "label" is the dependent variable
dtrain <- xgb.DMatrix(X_train, label = Y_train)
dtest <- xgb.DMatrix(X_test, label = Y_test)
best_param <- list()
best_seednumber <- 1234
best_rmse <- Inf
best_rmse_index <- 0
set.seed(123)
for (iter in 1:100) {
param <- list(objective = "reg:linear",
eval_metric = "rmse",
max_depth = sample(6:10, 1),
eta = runif(1, .01, .3), # Learning rate, default: 0.3
subsample = runif(1, .6, .9),
colsample_bytree = runif(1, .5, .8),
min_child_weight = sample(1:40, 1),
max_delta_step = sample(1:10, 1)
)
cv.nround <- 1000
cv.nfold <- 5 # 5-fold cross-validation
seed.number <- sample.int(10000, 1) # set seed for the cv
set.seed(seed.number)
mdcv <- xgb.cv(data = dtrain, params = param,
nfold = cv.nfold, nrounds = cv.nround,
verbose = F, early_stopping_rounds = 8, maximize = FALSE)
min_rmse_index <- mdcv$best_iteration
min_rmse <- mdcv$evaluation_log[min_rmse_index]$test_rmse_mean
if (min_rmse < best_rmse) {
best_rmse <- min_rmse
best_rmse_index <- min_rmse_index
best_seednumber <- seed.number
best_param <- param
}
}
# The best index (min_rmse_index) is the best "nround" in the model
nround = best_rmse_index
set.seed(best_seednumber)
xg_mod <- xgboost(data = dtest, params = best_param, nround = nround, verbose = F)
# Check error in testing data
yhat_xg <- predict(xg_mod, dtest)
(MSE_xgb <- mean((yhat_xg - Y_test)^2))