SVM的自定义内核,何时应用它们？

Question

我是机器学习领域的新手,现在正试图掌握最常见的学习算法是如何工作的,并了解何时应用它们.目前,我正在学习支持向量机的工作原理,并对自定义内核函数有疑问.
关于SVM的更标准(线性,RBF,多项式)内核,Web上有大量信息.但是,我想了解何时使用自定义内核函数是合理的.我的问题是:

1)SVM的其他可能内核是什么？
2)在哪种情况下会应用自定义内核？
3)定制内核能否显着提高SVM的预测质量？

Answer 1

1)SVM的其他可能内核是什么？

这些中有无数的,例如参见pykernels中实现的列表(这远非详尽无遗)

https://github.com/gmum/pykernels

• 线性
• 多项式
• RBF
• 余弦相似度
• 指数
• 拉普拉斯
• 理性二次方
• 反多次二次曲线
• 柯西
• T-学生
• 方差分析
• 添加剂Chi ^ 2
• 志^ 2
• MINMAX
• 最小/直方图交叉点
• 广义直方图交集
• 仿样
• 索伦森
• 谷本
• 小波
• 傅立叶
• 记录(CPD)
• 功率(CPD)

2)在哪种情况下会应用自定义内核？

基本上有两种情况:

• "简单"的结果非常糟糕
• 数据在某种意义上是特定的 - 因此,为了应用传统的内核,必须对其进行退化.例如,如果您的数据是图形格式,则无法应用RBF内核,因为图形不是常量大小的向量,因此您需要一个图形内核来处理此对象而不需要某种信息丢失投影.有时您也可以深入了解数据,了解一些底层结构,这可能有助于分类器.一个这样的例子是周期性,你知道你的数据中有一种复原效应 - 那么它可能值得寻找特定的内核等.

3)定制内核能否显着提高SVM的预测质量？

是的,特别是总是存在一个(假设的)贝叶斯最优内核,定义如下:

K(x, y) = 1 iff arg max_l P(l|x) == arg max_l P(l|y)

换句话说,如果一个标签l的真实概率P(l | x)被分配给一个点x,那么我们就可以创建一个内核,它几乎将你的数据点映射到它们最可能的标签的单热编码上,从而导致贝叶斯最优分类(因为它将获得贝叶斯风险).

在实践中,当然不可能得到这样的内核,因为这意味着你已经解决了你的问题.然而,它表明有一个"最佳内核"的概念,显然没有经典的那个不属于这种类型(除非你的数据来自veeeery简单的发行版).此外,每个内核都是一种先验过度决策函数 - 越接近实际的函数系列 - 更可能的是使用SVM获得合理的分类器.