机器学习分类器(LG,SVM和决策树)的主要假设

Question

在经典统计中,人们通常陈述假设的假设(即数据的正态性和线性,数据的独立性).但是,当我阅读机器学习教科书和教程时,基本的假设并不总是明确或完整地陈述.以下ML分类器对二元分类的主要假设是什么？哪些对于维护并不重要,哪一个必须严格遵守？

• 逻辑回归
• 支持向量机(线性和非线性内核)
• 决策树

Answer 1

IID 是几乎所有统计学习方法的基本假设。

逻辑回归是 GLM（广义线性模型）的一个特例。因此，尽管有一些技术要求，但最严格的限制在于数据分布的具体分布。数据必须服从指数族分布。您可以在https://en.wikipedia.org/wiki/Generalized_linear_model中进行更深入的研究，斯坦福大学 CS229 讲座笔记 1 也对此主题进行了精彩的报道。

SVM 对输入数据的容忍度很高，尤其是软间隔版本。我不记得采取了任何具体的数据假设（请更正）。

决策树讲述了与 SVM 相同的故事。