带有 lightgbm 的 GridSearchCV 需要不使用 fit() 方法？

Question

我正在尝试使用GridSearchCVLightGBMsklearn估计器，但在构建搜索时遇到问题。

我要构建的代码如下所示：

d_train = lgb.Dataset(X_train, label=y_train)
params = {}
params['learning_rate'] = 0.003
params['boosting_type'] = 'gbdt'
params['objective'] = 'binary'
params['metric'] = 'binary_logloss'
params['sub_feature'] = 0.5
params['num_leaves'] = 10
params['min_data'] = 50
params['max_depth'] = 10

clf = lgb.train(params, d_train, 100)

param_grid = {
    'num_leaves': [10, 31, 127],
    'boosting_type': ['gbdt', 'rf'],
    'learning rate': [0.1, 0.001, 0.003]
    }


gsearch = GridSearchCV(estimator=clf, param_grid=param_grid)
lgb_model = gsearch.fit(X=train, y=y)

但是我遇到了以下错误：

TypeError: estimator should be an estimator implementing 'fit' method, 
          <lightgbm.basic.Booster object at 0x0000014C55CA2880> was passed

然而 LightGBM 是使用该train()方法进行训练的，fit()因此该网格搜索不可用吗？

谢谢

Answer 1

您使用的对象lgb不支持该scikit-learnAPI。这就是为什么你不能以这种方式使用它。

但是，该lightgbm包提供了与 API 兼容的类scikit-learn。根据您尝试完成的监督学习任务（分类或回归），使用LGBMClassifier 或LGBMRegressor。分类任务的示例：

from lightgbm import LGBMClassifier
from sklearn.model_selection import GridSearchCV


clf = LGBMClassifier()
param_grid = {
    'num_leaves': [10, 31, 127],
    'boosting_type': ['gbdt', 'rf'],
    'learning rate': [0.1, 0.001, 0.003]
}

gsearch = GridSearchCV(estimator=clf, param_grid=param_grid)
gsearch.fit(X_train, y_train)