Python中的标准化/规范化测试数据

Question

我正在做一个sklearn家庭作业,我不明白为什么要用训练平均值和sd标准化和标准化测试数据.我怎样才能在Python中实现它？这是我对列车数据的实施:

digits = sklearn.datasets.load_digits()
X= digits.data
Y= digits.target
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.3,train_size=0.7)
std_scale = preprocessing.StandardScaler().fit(X_train)
X_train_std = std_scale.transform(X_train)
#X_test_std=??

对于火车我认为这是正确的,但对于测试？

Answer 1

为什么？

因为您的分类器/回归器将接受这些标准化值的培训.您不希望使用训练分类器来预测具有其他统计信息的数据.

怎么样:

std_scale = preprocessing.StandardScaler().fit(X_train)
X_train_std = std_scale.transform(X_train)
X_test_std  = std_scale.transform(X_test)

适合一次,改变你需要变换的任何东西.这是基于类的StandardScaler(您已经选择的)与比例相比的优势,该比例不包含稍后应用转换(基于在拟合期间获得的这些统计数据)所需的所需信息.