XGboost：无法在管道中传递 eval_set 的验证数据

Question

我想在管道中为 XGboost 模型实现 GridSearchCV。我有数据预处理器，在代码上面定义，一些网格参数

XGBmodel = XGBRegressor(random_state=0)
pipe = Pipeline(steps=[
    ('preprocess', preprocessor),
    ('XGBmodel', XGBmodel)
])

我想传递这些合适的参数

fit_params = {"XGBmodel__eval_set": [(X_valid, y_valid)], 
              "XGBmodel__early_stopping_rounds": 10, 
              "XGBmodel__verbose": False}

我正在尝试拟合模型

searchCV = GridSearchCV(pipe, cv=5, param_grid=param_grid, fit_params=fit_params)
searchCV.fit(X_train, y_train)

但我收到以下错误eval_set：DataFrame.dtypes for data must be int, float or bool

我想这是因为验证数据没有经过预处理，但是当我用谷歌搜索时，我发现到处都是通过这种方式完成的，似乎应该可以工作。此外，我试图找到一种方法来分别为验证数据应用预处理器，但是在不拟合之前的训练数据的情况下无法转换验证数据。

完整代码

columns = num_cols + cat_cols
X_train = X_full_train[columns].copy()
X_valid = X_full_valid[columns].copy()

num_preprocessor = SimpleImputer(strategy = 'mean')
cat_preprocessor = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy = 'most_frequent')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])

preprocessor = ColumnTransformer(transformers=[
    ('num', num_preprocessor, num_cols),
    ('cat', cat_preprocessor, cat_cols)
])

XGBmodel = XGBRegressor(random_state=0)
pipe = Pipeline(steps=[
    ('preprocess', preprocessor),
    ('XGBmodel', XGBmodel)
])

param_grid = {
    "XGBmodel__n_estimators": [10, 50, 100, 500],
    "XGBmodel__learning_rate": [0.1, 0.5, 1],
}

fit_params = {"XGBmodel__eval_set": [(X_valid, y_valid)], 
              "XGBmodel__early_stopping_rounds": 10, 
              "XGBmodel__verbose": False}

searchCV = GridSearchCV(pipe, cv=5, param_grid=param_grid, fit_params=fit_params)
searchCV.fit(X_train, y_train)

有什么方法可以预处理管道中的验证数据？或者也许完全不同的方式来实现这个东西？

Answer 1

没有什么好的办法。如果在拟合模型之前您有很长的变压器管道，那么您可以考虑拟合管道中的变压器，然后单独应用模型。

根本问题是管道没有模型拟合中使用的验证集的概念。您可以在此处LightGBM查看github上的讨论。他们的建议是在安装完整的管道之前预先训练变压器并将其应用于验证数据。如果您使用快速转换器，这可能没问题，但在极端情况下可能会使 CPU 时间加倍。