如何对缩放回归模型执行约束优化？

Question

假设我正在对我的数据应用高斯过程回归。在拟合模型之前，我将执行某种特征工程。模型拟合后，我的目标是在曲线上应用最小化，我打算限制某些值，以找到最佳 X。但是，如果我正在应用某种特征，那么问题来了工程到我的数据，并将模型拟合到该特定数据集，当我应用约束优化时，我应该如何找出我想要约束它的值，因为我改变了我的输入数据。如果这听起来令人困惑，以下带有一些代码的解释可能会有所帮助：

假设我有数据：

# X (theta, alpha1, alpha2)
array([[ 9.07660169,  0.61485493,  1.70396493],
       [ 9.51498486, -5.49212002, -0.68659511],
       [10.45737558, -2.2739529 , -2.03918961],
       [10.46857663, -0.4587848 ,  0.54434441],
       [ 9.10133699,  8.38066374,  0.66538822],
       [ 9.17279647,  0.36327109, -0.30558115],
       [10.36532505,  0.87099676, -7.73775872],
       [10.13681026, -1.64084098, -0.09169159],
       [10.38549264,  1.80633583,  1.3453195 ],
       [ 9.72533357,  0.55861224,  0.74180309])

# y
array([4.93483686, 5.66226844, 7.51133372, 7.54435854, 4.92758927,
       5.0955348 , 7.26606153, 6.86027353, 7.36488184, 6.06864003])

然后我应用某种特征工程，在这种情况下，一个简单的 MinMaxScaler：

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)           
scaler = MinMaxScaler()           
scaler.fit(X_train)            
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

然后，我将模型拟合到我的数据中：

kernel = C(1.0, (1e-4, 1e4))*RBF(10,(1e-3,1e3))
model = GaussianProcessRegressor(kernel = kernel, n_restarts_optimizer = 5,optimizer='fmin_l_bfgs_b')           
model.fit(X_train,y_train)

现在，我执行拟合模型的约束最小化。请注意，我约束theta一个常数值等于九。因此，这篇文章的动机，因为我theta在特征工程过程之前拟合曲线之前将约束设置为基于样本的值。

bnds = np.array([(theta_bin,theta_bin),(data_alpha1_bin.min(),data_alpha1_bin.max()),
                 (data_alpha2_bin.min(), data_alpha2_bin.max())])        
x0 = [theta_bin,0,0]
residual_plant = minimize(lambda x: -model.predict(np.array([x])), x0, method='SLSQP',bounds=bnds)

总而言之，我需要最小化我的机器学习拟合模型，但是我还需要在拟合之前对其进行特征缩放，因为它是高斯过程所必需的。问题是，我的最小化受限于特征之一的给定常数值（theta），然后，我将如何处理拟合到缩放特征的曲线以及我根据缩放之前的值设置的约束。

Answer 1

一旦安装scaler好，就继续使用它。由于您的变换只是缩放而不旋转，因此变换后的theta坐标将保持不变。

residual_plant = minimize(lambda x: -model.predict(scaler.transform(x)), scaler.transform(x0), method='SLSQP',bounds=bnds)

顺便说一句，你打算写：

model.fit(X_train_scaled,y_train)

正确的？否则，您将在原始坐标上进行训练而不进行缩放。在这种情况下这似乎也是合法的。我认为没有真正需要扩展。但我相信您需要添加normalize_y=True到探地雷达，因为它假设观察到的目标值的平均值为零，而根据您提供的数据样本，情况并非如此。