在 python 中使用 sklearn 自己的估计器进行网格搜索 CV

Question

我正在尝试构建自己的估计器（回归器）并将其用于插补（KnnImputation）。我在使用网格搜索“GridSearchCV”时遇到问题。有什么想法有什么问题吗？

我的代码：

class KnnImputation(BaseEstimator, RegressorMixin):

    def __init__(self, k=5, distance='euclidean'):
        self.k = k
        self.distance = distance

    def get_params(self, deep=False):
        return {'k': self.k, 'distance': self.distance}

    def set_params(self, **parameters):
        self.k = parameters['k']
        self.distance = parameters['distance']

    def fit(self, X, y):

        self.xTrain = X.values
        self.yTrain = y.values

        return self

    def predict(self, X):
        ........

        return yPred

# scorer:
scorer = make_scorer(mean_squared_error)

kf = KFold(n_splits=10, shuffle=False, random_state=23)
NN = KnnImputation()
gridSearchNN = GridSearchCV(NN, param_grid=params, scoring=scorer, n_jobs=1,
                            cv=kf.split(xTrain, yTrain), verbose=1)
gridSearchNN.fit(X=xTrain, y=yTrain)

我的错误：

....
  File "C:\Users\...........\dataImputation.py", line 85, in knnImputationMethod
    gridSearchNN.fit(X=xTrain, y=yTrain)
  File "C:\Users\.....\Anaconda3\lib\site-packages\sklearn\model_selection\_search.py", line 740, in fit
    self.best_estimator_.fit(X, y, **fit_params)
AttributeError: 'NoneType' object has no attribute 'fit'

Answer 1

从sklearn源代码中sklearn.model_selection._search，我们在方法中有以下代码fit：

if self.refit:
    self.best_estimator_ = clone(base_estimator).set_params(
        **self.best_params_)
    refit_start_time = time.time()
    if y is not None:
        self.best_estimator_.fit(X, y, **fit_params)

这里重要的是这一行：

self.best_estimator_ = clone(base_estimator).set_params(**self.best_params_)

克隆是由base_estimator对象组成的，它就是您的KNNImputation类。set_params()然后在该克隆的估计器上调用实例方法。然后该变量self.best_estimator指向 的返回值set_params()。

在您提供的代码中，该set_params()方法没有return语句，因此它返回None。因此，对 的调用self.best_estimator_.fit()相当于None.fit()，这显然是行不通的。您需要通过在函数self内返回来启用方法链set_params()。

相关代码将是：

def set_params(self, **parameters):
    self.k = parameters['k']
    self.distance = parameters['distance']
    return self

长话短说：

您需要set_params通过返回来启用方法链入self。