任何人都可以告诉我为什么我们总是在机器学习中使用高斯分布？

Question

例如,我们总是假设数据或信号误差是高斯分布？为什么？

Answer 1

从数学意识的人那里得到的答案是"因为中心极限定理".这表达了这样的想法:当你从几乎任何分布*中取出一堆随机数并将它们加在一起时,你会获得大致正态分布的东西.您添加的数字越多,它获得的正常分布就越多.

我可以在Matlab/Octave中演示这一点.如果我在1到10之间生成1000个随机数并绘制直方图,我会得到类似的结果

如果不是生成一个随机数,而是生成其中的12个并将它们加在一起,并执行1000次并绘制直方图,我得到这样的结果:

我已经在顶部绘制了具有相同均值和方差的正态分布,因此您可以了解匹配的接近程度.你可以在这个要点上看到我用来生成这些图的代码.

在一个典型的机器学习问题,你将有许多不同来源的错误(例如测量误差,数据录入错误,分类错误,数据损坏......),它不是完全地认为所有这些错误的综合效应大约是不合理的正常(当然,你应该经常检查!)

这个问题的更实用的答案包括:

• 因为它使数学更简单.正态分布的概率密度函数是二次方的指数.取对数(就像你经常做的那样,因为你想最大化对数似然)给你一个二次方.区分这个(找到最大值)可以得到一组线性方程,这些方程很容易通过分析求解.

• 这很简单 - 整个分布用两个数字来描述,即均值和方差.

• 大多数人都会熟悉您的代码/论文/报告.

这通常是一个很好的起点.如果您发现您的分配假设给您的表现不佳,那么也许您可以尝试不同的分布.但您应该首先考虑其他方法来改善模型的性能.

*技术要点 - 它需要有限的方差.

Answer 2

高斯分布是最"自然"的分布.他们到处出现.这是一个让我认为高斯是最自然的分布的属性列表:

• 如nikie所述,几个随机变量(如骰子)的总和倾向于高斯.(中心极限定理).
• 机器学习中出现了两种自然观念,即标准偏差和最大熵原理.如果你问这个问题,"在标准差为1和均值为0的所有分布中,具有最大熵的分布是什么？" 答案是高斯.
• 随机选择高维超球面内的一个点.任何特定坐标的分布近似为高斯分布.对于超球面上的随机点也是如此.
• 从高斯分布中取几个样本.计算样本的离散傅里叶变换.结果具有高斯分布.我很确定高斯是唯一具有此属性的分布.
• 傅里叶变换的本征函数是多项式和高斯的乘积.
• 微分方程y'= -xy的解是高斯分布.这一事实使得高斯计算变得更容易.(高阶导数涉及Hermite多项式.)
• 我认为高斯是在乘法,卷积和线性变换下关闭的唯一分布.
• 涉及高斯问题的最大似然估计倾向于也是最小二乘解.
• 我认为随机微分方程的所有解都涉及高斯.(这主要是中心极限定理的结果.
• "正态分布是唯一绝对连续的分布,所有的累积量超过前两个(即除了均值和方差之外)都是零." - 维基百科.
• 对于偶数n,高斯期的第n个时刻只是一个整数乘以标准偏差到第n个幂.
• 许多其他标准分布与高斯分布密切相关(即二项式,泊松,卡方,学生t,瑞利,Logistic,对数正态,超几何......)
• "如果X1和X2是独立的,它们的和X1 + X2正常分布,则X1和X2也必须正常" - 来自维基百科.
• "正态分布均值的共轭先验是另一个正态分布." - 来自维基百科.
• 使用高斯时,数学更容易.
• Erdős-Kac定理意味着"随机"整数的素因子的分布是高斯分布.
• 气体中随机分子的速度分布为高斯分布.(标准偏差= z*sqrt(k T/m)其中z是常数,k是玻尔兹曼常数.)
• "高斯函数是量子谐振子基态的波函数." - 来自维基百科
• 卡尔曼滤波器.
• 高斯马尔可夫定理.

这篇文章是在http://artent.net/blog/2012/09/27/why-are-gaussian-distributions-great/上发布的.