XgBoost:y中填充最少的类只有1个成员,这个成员太少了

Question

我在sklearn上使用Xgboost实现了一个讨人喜欢的比赛.但是,我收到此"警告"消息:

$ python Script1.py /home/sky/private/virtualenv15.0.1dev/myVE/local/lib/python2.7/site-packages/sklearn/cross_validation.py:516:

警告:y中填充最少的类只有1个成员,这个成员太少了.任何类的最小标签数不能少于n_folds = 3.%(min_labels,self.n_folds)),警告)

根据stackoverflow的另一个问题:"检查每个类至少有3个样本能够用k == 3进行StratifiedKFold交叉验证(我认为这是GridSearchCV用于分类的默认CV)."

好吧,我每班至少有3个样本.

所以我的问题是:

a)有哪些替代方案？

b)为什么我不能使用交叉验证？

c)我可以使用什么？

...
param_test1 = {
    'max_depth': range(3, 10, 2),
    'min_child_weight': range(1, 6, 2)
}

grid_search = GridSearchCV(

estimator=
XGBClassifier(
    learning_rate=0.1,
    n_estimators=3000,
    max_depth=15,
    min_child_weight=1,
    gamma=0,
    subsample=0.8,
    colsample_bytree=0.8,
    objective='multi:softmax',
    nthread=42,
    scale_pos_weight=1,
    seed=27),

    param_grid=param_test1, scoring='roc_auc', n_jobs=42, iid=False, cv=None, verbose=1)
...

grid_search.fit(train_x, place_id)

参考文献:

使用scikit-learn进行一次性学习

在scikit-learn中使用带有多项式内核的支持向量分类器

Answer 1

如果您的目标/类只有一个样本，那么对于任何模型来说都太少了。您可以做的是获得另一个数据集，最好尽可能平衡，因为大多数模型在平衡集中表现得更好。

如果你不能拥有另一个数据集，你将不得不使用你拥有的数据。我建议您删除具有孤独目标的样本。因此，您将拥有一个不涵盖该目标的模型。如果这不符合您的要求，您需要一个新的数据集。