标签: cross-validation

我正在关注Kaggle 上的内核，并发现了以下代码：

n_folds = 5

def rmsle_cv(model):
    kf = KFold(n_folds, shuffle=True, random_state=42).get_n_splits(train.values)
    rmse= np.sqrt(-cross_val_score(model, train.values, y_train, scoring="neg_mean_squared_error", cv = kf))
    return(rmse)

我了解 KFold 的目的和用途以及在 中使用的事实cross_val_score。我不明白的是为什么get_n_split使用。据我所知，它返回用于交叉验证的迭代次数，即在本例中返回值 5。当然对于这一行：

rmse= np.sqrt(-cross_val_score(model, train.values, y_train, scoring="neg_mean_squared_error", cv = kf))

简历=5？这对我来说没有任何意义。get_n_splits如果它返回一个整数，为什么还需要使用？我认为KFold 返回一个类，而get_n_splits返回一个整数。

任何人都可以澄清我的理解吗？

我试图弄清楚如何使用 cross_validate 生成混淆矩阵。我可以使用迄今为止的代码打印出分数。

# Instantiating model
model = DecisionTreeClassifier()

#Scores
scoring = {'accuracy' : make_scorer(accuracy_score), 
           'precision' : make_scorer(precision_score),
           'recall' : make_scorer(recall_score), 
           'f1_score' : make_scorer(f1_score)}

# 10-fold cross validation
scores = cross_validate(model, X, y, cv=10, scoring=scoring)

print("Accuracy (Testing):  %0.2f (+/- %0.2f)" % (scores['test_accuracy'].mean(), scores['test_accuracy'].std() * 2))
print("Precision (Testing):  %0.2f (+/- %0.2f)" % (scores['test_precision'].mean(), scores['test_precision'].std() * 2))
print("Recall (Testing):  %0.2f (+/- %0.2f)" % (scores['test_recall'].mean(), scores['test_recall'].std() * 2))
print("F1-Score (Testing):  %0.2f (+/- %0.2f)" % (scores['test_f1_score'].mean(), scores['test_f1_score'].std() * 2))

但我正在尝试将这些数据放入混淆矩阵中。我可以使用 cross_val_predict 制作混淆矩阵 -

y_train_pred …

我正在尝试将文本数据分类为多个类。我想执行交叉验证来比较多个模型与样本权重。

对于每个模型，我都可以输入这样的参数。

all_together = y_train.to_numpy()
unique_classes = np.unique(all_together)
c_w = class_weight.compute_class_weight('balanced', unique_classes, all_together)
clf = MultinomialNB().fit(X_train_tfidf, y_train, sample_weight=[c_w[i] for i in all_together])

似乎不允许cross_val_score()有关sample_weight的参数。我如何通过交叉验证来做到这一点？

models = [
    RandomForestClassifier(n_estimators=200, max_depth=3, random_state=0),
   LinearSVC(),
    MultinomialNB(),
    LogisticRegression(random_state=0),
]

all_together = y_train.to_numpy()
unique_classes = np.unique(all_together)
c_w = class_weight.compute_class_weight('balanced', unique_classes, all_together)
    
CV = 5
cv_df = pd.DataFrame(index=range(CV * len(models)))
entries = []
for model in models:
    model_name = model.__class__.__name__
    f1_micros = cross_val_score(model,  X_tfidf, y_train, scoring='f1_micro', cv=CV)
    for fold_idx, f1_micro in enumerate(f1_micros):
        entries.append((model_name, fold_idx, f1_micro))
cv_df_women …

我使用插入包来训练随机森林,包括重复的交叉验证.我想知道是否使用了Breiman的原始RF中的OOB,或者是否将其替换为交叉验证.如果它被替换,我是否具有与Breiman 2001中描述的相同的优点,如通过减少输入数据之间的相关性来提高准确度？由于OOB是在更换时绘制的,而CV是在没有替换的情况下绘制的,两个程序是否可比？什么是错误率的OOB估计(基于CV)？

树木是如何生长的？是否使用CART？

由于这是我的第一个主题,如果您需要更多详细信息,请告诉我.提前谢谢了.

在Jupyter笔记本上本地运行并使用MNIST数据集（28k条目，每个图像28x28像素，接下来的时间为27秒）。

from sklearn.neighbors import KNeighborsClassifier

knn_clf = KNeighborsClassifier(n_jobs=1)
knn_clf.fit(pixels, labels)

但是，以下过程需要1722秒，也就是说，要花费〜64 倍的时间：

from sklearn.model_selection import cross_val_predict
y_train_pred = cross_val_predict(knn_clf, pixels, labels, cv = 3, n_jobs=1)

我天真的理解是cv = 3的cross_val_predict正在执行3倍交叉验证，因此我希望它可以拟合模型3次，因此至少需要3倍的时间，但是我不知道为什么会这样花64倍！

要检查它是否特定于我的环境，我在Colab笔记本上运行了相同的东西 -差异不那么极端（15x），但仍远高于我预期的〜3x：

我想念什么？为什么cross_val_predict比仅拟合模型要慢得多？

万一重要，我正在运行scikit-learn 0.20.2。