为什么高斯径向基函数将例子映射到无限维空间？
PDa*_*ani 5 classification machine-learning gaussian svm supervised-learning
我刚刚浏览了维基百科有关SVM的页面,这条线引起了我的注意:"如果使用的内核是高斯径向基函数,则相应的特征空间是无限维的Hilbert空间." http://en.wikipedia.org/wiki/Support_vector_machine#Nonlinear_classification
在我的理解中,如果我在SVM中应用高斯核,那么得到的特征空间将是m维度的(m训练样本的数量在哪里),因为你选择你的地标作为训练样例,并且你正在测量"相似性"在具体示例和具有高斯内核的所有示例之间.因此,对于单个示例,您将拥有与训练示例一样多的相似度值.这些将是新的特征向量,它们将转向m维度向量,而不是无限维度.
有人可以向我解释我错过了什么？
谢谢,丹尼尔
其他答案是正确的，但在这里并没有真正讲述正确的故事。重要的是，你是对的。如果您有 m 个不同的训练点，那么高斯径向基核会使 SVM 在 m 维空间中运行。我们说径向基核映射到一个无限维的空间是因为你可以把 m 做成你想要的大小，而且它所运行的空间会无限增长。
然而，其他内核，如多项式内核，不具有维度随训练样本数量缩放的特性。例如，如果您有 1000 个 2D 训练样本并且您使用 <x,y>^2 的多项式内核，那么 SVM 将在 3 维空间中运行，而不是在 1000 维空间中运行。
简短的回答是,关于无限维空间的这项业务只是理论上的一部分,并没有实际意义.在任何意义上,你永远不会真正触及无限维空间.这是径向基函数工作的证明的一部分.
基本上,SVM被证明通过依赖于矢量空间上的点积的属性而以它们的方式工作.你不能只是交换径向基函数,并期望它必然有效.然而,为了证明它确实如此,你表明径向基函数实际上就像是不同向量空间上的点积,并且就像我们在变换空间中进行常规SVM一样有效.并且它发生了无限的概率,并且径向基函数确实对应于这样的空间中的点积.因此,当您使用此特定内核时,您可以说SVM仍然有效.