为什么随着特征数量的增加,使用svm时分类精度会降低

Question

我libsvm用于图像分类.为什么当我使用更多功能进行分类时,我的预测精度会降低 它不应该增加？我的数据集大小固定为1600,用于培训,400用于测试.

Answer 1

因为附加功能对于分离要素空间中的类可能并不完全有用.准确性不一定与功能的数量有关.

包含大量不良功能可能会导致SVM了解数据中的噪声,从而降低准确性.

例如,如果您的额外功能如下所示(为清晰起见使用2D绘图):

那么分离(在这种情况下)两个类将不是一个非常好的功能.例如,如果SVM仅针对此模式进行训练,则它不会很好地预测未来点的类别.但是,数据集中可能有一个如下所示的功能:

像这样的功能在分离这两个类时非常有用.