ML 模型无法正确预测

Question

我正在尝试使用 SMR、Logistic 回归等各种技术创建 ML 模型（回归）。使用所有技术，我无法获得超过 35% 的效率。这就是我正在做的：

X_data = [X_data_distance]
X_data = np.vstack(X_data).astype(np.float64)
X_data = X_data.T
y_data = X_data_orders
#print(X_data.shape)
#print(y_data.shape)
#(10000, 1)
#(10000,)
X_train, X_test, y_train, y_test = train_test_split(X_data, y_data, test_size=0.33, random_state=42)
svr_rbf = SVC(kernel= 'rbf', C= 1.0)
svr_rbf.fit(X_train, y_train)
plt.plot(X_data_distance, svr_rbf.predict(X_data), color= 'red', label= 'RBF model')

对于情节，我得到以下信息：

我尝试了各种参数调整，改变参数C，gamma甚至尝试了不同的内核，但没有改变精度。甚至尝试了SVR、逻辑回归而不是SVC，但没有任何帮助。我尝试了不同的缩放比例来训练输入数据，例如StandardScalar()和scale()。

我用这个作为参考

我应该怎么办？

Answer 1

根据经验，我们通常遵循以下约定：

1. 对于少量功能，请使用Logistic Regression。
2. 对于很多功能但不是很多数据，请使用SVM.
3. 对于大量功能和大量数据，请选择Neural Network.

因为您的数据集有 10K 个案例，所以最好使用它，Logistic Regression因为SVM将需要很长时间才能完成！

然而，由于您的数据集包含很多类，因此您的实现中可能会出现类不平衡的情况。因此，我尝试通过使用 StratifiedKFold 来解决这个问题，而不是train_test_split它不能保证拆分中的平衡类。

此外，我使用GridSearchCV和StratifiedKFold来执行交叉验证，以调整参数并尝试所有不同的优化器！

所以完整的实现如下：

import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import GridSearchCV, StratifiedKFold, StratifiedShuffleSplit
import numpy as np


def getDataset(path, x_attr, y_attr):
    """
    Extract dataset from CSV file
    :param path: location of csv file
    :param x_attr: list of Features Names
    :param y_attr: Y header name in CSV file
    :return: tuple, (X, Y)
    """
    df = pd.read_csv(path)
    X = X = np.array(df[x_attr]).reshape(len(df), len(x_attr))
    Y = np.array(df[y_attr])
    return X, Y

def stratifiedSplit(X, Y):
    sss = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=0)
    train_index, test_index = next(sss.split(X, Y))
    X_train, X_test = X[train_index], X[test_index]
    Y_train, Y_test = Y[train_index], Y[test_index]
    return X_train, X_test, Y_train, Y_test


def run(X_data, Y_data):
    X_train, X_test, Y_train, Y_test = stratifiedSplit(X_data, Y_data)
    param_grid = {'C': [0.01, 0.1, 1, 10, 100, 1000], 'penalty': ['l1', 'l2'],
                  'solver':['newton-cg', 'lbfgs', 'liblinear', 'sag', 'saga']}
    model = LogisticRegression(random_state=0)
    clf = GridSearchCV(model, param_grid, cv=StratifiedKFold(n_splits=10))
    clf.fit(X_train, Y_train)
    print(accuracy_score(Y_train, clf.best_estimator_.predict(X_train)))
    print(accuracy_score(Y_test, clf.best_estimator_.predict(X_test)))


X_data, Y_data = getDataset("data - Sheet1.csv", ['distance'], 'orders')

run(X_data, Y_data)

尽管尝试了各种不同的算法，但准确率 仍然没有超过36%！

这是为什么？

如果你想让一个人通过 T 恤颜色来识别/分类另一个人，你不能说：嘿，如果它是红色的，那就意味着他是约翰，如果它是红色的，那就意味着彼得，但如果它是红色的，那就意味着艾斯林！他会说“真的，有什么区别”？！！

这正是您的数据集中的内容！

简单地，运行print(len(np.unique(X_data)))一下print(len(np.unique(Y_data)))，你会发现这些数字是如此奇怪，简而言之，你有：

Number of Cases: 10000 !!
Number of Classes: 118 !!
Number of Unique Inputs (i.e. Features): 66 !!

所有班级都共享大量信息，准确率高达 36%，令人印象深刻！

换句话说，你没有信息丰富的特征，这导致每个类别模型缺乏独特性！

该怎么办？我相信您不允许删除某些类，因此您仅有的两个解决方案是：

1. 要么接受这个非常有效的结果。

2. 或者添加更多信息性功能。

更新

当您提供相同的数据集但具有更多功能（即完整的功能集）时，现在的情况有所不同。

我建议您执行以下操作：

1. 预处理数据集（即通过输入缺失值或删除包含缺失值的行，并将日期转换为一些唯一值（示例）...等来准备数据集）。

2. 检查哪些功能对类最重要Orders，您可以通过使用 ofForests of Trees来评估功能的重要性来实现这一点。这是一个完整而简单的示例，说明如何在Scikit-Learn.

3. 创建数据集的新版本，但这次保留Orders作为Y响应，并将上面找到的特征作为变量X。

4. 请遵循我在上面的实施中向您展示的相同GrdiSearchCV过程。StratifiedKFold

暗示

正如 Vivek Kumar 在下面的评论中提到的，stratify参数已在train_test_splitScikit-learn函数的更新中添加。

它通过传递类似数组的基本事实来工作，因此您不需要在stratifiedSplit(X, Y)上面的函数中使用我的解决方法。