机器学习中的规范化和正则化有什么区别

Question

正则化是归一化的子集吗？我知道当所有值都不在同一范围内时使用归一化，但是归一化也用于降低值，正则化也是如此。那么两者之间有什么区别？

Answer 1

归一化调整数据；正则化调整预测功能。

如前所述，如果您的数据的比例尺非常不同（尤其是从低到高范围），则可能需要normalise数据：更改每列以具有相同（或兼容）的基本统计信息，例如标准差和均值。这有助于使拟合参数保持在计算机可以处理的范围内，而不会损害准确性。

模型训练的目标之一是识别信号（重要特征）并忽略噪声（与分类实际上不相关的随机变化）。如果您随意控制模型以最大程度地减少给定数据上的误差，则会遭受过度拟合的困扰：模型坚持准确预测数据集，包括那些随机变量。

Regularisation通过奖励较简单的拟合函数而不是复杂的拟合函数，对此施加了一些控制。例如，它可以促进具有RMS误差x的简单对数函数优于具有x / 2误差的15次多项式。权衡取舍取决于模型开发人员：如果您知道数据在现实中相当平滑，则可以查看输出函数和拟合误差，然后选择自己的平衡点。