SVM 中的参数 C 和标准来查找最佳参数

Question

SVM中的成本参数C是什么意思？我的意思是，如果C很大，是否意味着“我不能容忍错误的分类”？

在实验中寻找最佳参数时如何确定范围和步长？

顺便问一下，决定哪个参数更好的标准是什么？交叉验证的错误数量或我们从 SVM 获得的支持向量数量？

Answer 1

什么是C？

SVM 训练解决的优化问题有两项：

1. 有利于“更简单”权重的正则化术语
2. 一个损失项，确保权重正确地对训练数据点进行分类。

C只是这些术语重要性之间的平衡。如果 C 较高，则您会更加重视 (2)，如果 C 较低，您会更加重视 (1)。

如果我只是想要准确的结果，为什么不将 C 设置得很高呢？

术语 (1) 防止过度拟合（非常擅长对训练数据进行分类，但非常不擅长对未见过的测试数据进行分类）

好吧，我只是想要准确的结果，为什么我不把 C 设置得很低呢？

项 (2) 确保训练优化关注训练数据，您不仅仅需要“简单”（L2 意义上的）权重，您还需要能够正确分类训练数据的简单权重。

概括：

训练 SVM 是两个术语的平衡。C 是损失项相对于正则化项的相对重要性。