误差和残差之间的确切区别是什么？

Question

因为我的想法是残差=（实际 - 预测）。我们来看线性回归的实际函数：

y= mx+c+errory=mx+c，我们在预测中得到的函数是

最小化 RSS。那么残差只不过是误差那么为什么这两个术语描述为不同的。

如果我错了请纠正我。

Answer 1

出于所有实际目的，并且在机器学习上下文中，这两个术语被视为同义词。

“残差”一词源于统计学中的线性回归；由于统计中的术语“误差”具有不同的含义，因此在当今的机器学习中，需要使用不同的术语来声明因变量的估计（预测）值与其观测值之间的差异，因此称为“残差” 。

您可以在 Wikipedia 条目中找到有关错误和残差的更多详细信息（注意复数）；引用：

在统计和优化中，误差和残差是两个密切相关且容易混淆的衡量统计样本元素的观测值与其“理论值”偏差的度量。观测值的误差（或扰动）是观测值与感兴趣量（例如总体平均值）的（不可观测）真实值的偏差，观测值的残差是观测值与观测值之间的差值。感兴趣数量的观察值和估计值（例如样本平均值）。这种区别在回归分析中最为重要，这些概念有时被称为回归误差和回归残差，并且它们导致了学生化残差的概念。

请记住，以上内容来自统计领域；在机器学习环境中，我们使用术语“误差”（单数）来表示预测值和观测值之间的差异，而术语“残差”实际上几乎从未使用过......