在 AdaBoostClassifier 中使用 scikit-learn 的 MLPClassifier

Question

对于二元分类问题，我想使用MLPClassifier作为AdaBoostClassifier. 但是，这不起作用，因为MLPClassifier没有实现sample_weightAdaBoostClassifier 所需的（请参阅此处）。在此之前，我尝试使用 Keras 模型及其KerasClassifier内部模型AdaBoostClassifier，但这也不起作用，如此处所述。

用户 V1nc3nt 提出的一种方法是在 TensorFlow 中构建自己的方法MLPclassifier并考虑样本权重。

用户 V1nc3nt 分享了他的大部分代码，但由于我对 Tensorflow 的经验有限，因此我无法填补缺失的部分。因此，我想知道是否有人找到了从 MLP 构建 Adaboost 集成的工作解决方案，或者可以帮助我完成 V1nc3nt 提出的解决方案。

预先非常感谢您！

Answer 1

根据您提到的参考文献，我进行了修改MLPClassifier以适应sample_weights.

尝试这个！

from sklearn.neural_network import MLPClassifier
from sklearn.datasets import load_iris
from sklearn.ensemble import AdaBoostClassifier

class customMLPClassifer(MLPClassifier):
    def resample_with_replacement(self, X_train, y_train, sample_weight):

        # normalize sample_weights if not already
        sample_weight = sample_weight / sample_weight.sum(dtype=np.float64)

        X_train_resampled = np.zeros((len(X_train), len(X_train[0])), dtype=np.float32)
        y_train_resampled = np.zeros((len(y_train)), dtype=np.int)
        for i in range(len(X_train)):
            # draw a number from 0 to len(X_train)-1
            draw = np.random.choice(np.arange(len(X_train)), p=sample_weight)

            # place the X and y at the drawn number into the resampled X and y
            X_train_resampled[i] = X_train[draw]
            y_train_resampled[i] = y_train[draw]

        return X_train_resampled, y_train_resampled


    def fit(self, X, y, sample_weight=None):
        if sample_weight is not None:
            X, y = self.resample_with_replacement(X, y, sample_weight)

        return self._fit(X, y, incremental=(self.warm_start and
                                            hasattr(self, "classes_")))


X,y = load_iris(return_X_y=True)
adabooster = AdaBoostClassifier(base_estimator=customMLPClassifer())

adabooster.fit(X,y)