xgboost 的 cross_val_score 与“early_stopping_rounds”返回“IndexError”

Question

我正在使用 sklearn 和 xgboost 在 python (v3.6) 中研究回归模型。我想用 Early_stopping_rounds 计算 sklearn.cross_val_score 。以下代码返回错误：

xgb_model = xgb.XGBRegressor(n_estimators=600,
                             learning_rate=0.06)

xgb_cv = cross_val_score(xgb_model, train_x, train_y, 
                         cv=5, scoring='neg_mean_absolute_error',
                         fit_params={'early_stopping_rounds':3})

IndexError: list index out of range

另外，如果我尝试将参数作为“xgbregressor__early_stopping_rounds”传递（如在一些相关主题中在线找到的），则会显示以下错误：

TypeError: fit() got an unexpected keyword argument
'xgbregressor__early_stopping_rounds'

如果我在没有“fit_params”的情况下运行相同的模型，则一切正常。使用 cross_val_score 时有什么方法可以避免此错误吗？

Answer 1

按照 lbcommer 的建议，用GridSearchCV - XGBoost - Early Stopping中的 glao 的答案解决了这个问题- 谢谢！

为了避免过度拟合，我使用训练数据的单独部分作为验证数据集来评估算法。请参阅下面我的代码：

train_x, val_x, train_y, val_y = train_test_split(train_x, train_y, test_size = 0.30, random_state=1)

xgb_model = xgb.XGBRegressor(n_estimators=600, learning_rate=0.06)

fit_params={'early_stopping_rounds': 30, 
            'eval_metric': 'mae',
            'verbose': False,
            'eval_set': [[val_x, val_y]]}

xgb_cv = cross_val_score(xgb_model, train_x, train_y, 
                         cv = 5, 
                         scoring = 'neg_mean_absolute_error',
                         fit_params = fit_params)