Kev*_*vin 0 classification svm
我知道什么是SRM,但我不理解SRM和SVM之间的关系.谁能解释一下这个？为什么他们说SVM依赖于SRM方法？非常感谢!
结构风险最小化是Vapnik的学习概念,其概念上与其他"最小假设方法"类似.简而言之,大多数学习算法(在分类中)试图找到从输入空间到类的一些映射,使得该映射在训练集上表现"良好"(返回正确的答案).然而,已知的现象是,这不足以构建良好的模型,因为例如可以记住所有训练示例并且具有0训练误差的模型.然而,它会对新的例子(看不见的观察)表现得很糟糕.结构风险最小化可概括如下:"要找到一个好的分类器,选择最简单的一个最小化训练误差".换句话说 - 最好是在复杂的模型上有一个简单的模型.由于后者对"来自稀薄空气"的数据做出了更多假设(没有实际的训练数据来支持这种复杂性).Vapnik证明了分类器复杂性(用所谓的"Vapnik-Chervonenkis维度"测量)与它们在看不见的数据(测试点)上表现良好的能力之间存在着密切的关系.这个VC维度(松散地说)衡量给定分类器中的一组点的大小,可以完美地对所有可能的标签进行分类.
"风险"的概念只是"在未来"做出错误决策的概率(当我们的模型对新的,看不见的点进行分类时).而"结构"概念则是模型复杂性,对复杂模式的适应性的名称.
SVM与这个概念有什么关系？通过保证金最大化.看起来(并且可以严格证明)边际的最大化减小了VC维度,因此当边缘最大化时,我们搜索更简单和更简单的模型.