numpy.polyfit 的额外结果意味着什么？

Question

使用numpy的polyfit创建最佳拟合线时，可以指定参数full为True。除了系数之外，这还会返回 4 个额外值。这些值的含义是什么？它们告诉我该函数与我的数据的拟合程度如何？

https://docs.scipy.org/doc/numpy/reference/ generated/numpy.polyfit.html

我正在做的是：

bestFit = np.polyfit(x_data, y_data, deg=1, full=True)

我得到结果：

(array([ 0.00062008,  0.00328837]), array([ 0.00323329]), 2, array([ 
1.30236506,  0.55122159]), 1.1102230246251565e-15)

文档说这四个额外的信息是：residuals、rank、singular_values 和 rcond。

编辑：我正在寻找有关 rcond 和 Single_values 如何描述拟合优度的进一步解释。

谢谢你！

Answer 1

rcond 和奇异值如何描述拟合优度。

简短的回答：他们没有。

它们没有描述多项式对数据的拟合程度；这就是residuals目的。他们描述了该多项式的计算在数值上的鲁棒性。

罗康德

的值rcond实际上与拟合质量无关，它描述了获得拟合的过程，即线性系统的最小二乘解。大多数时候用户polyfit不会提供这个参数，所以需要自己选择一个合适的值polyfit。然后将该值返回给用户以供其参考。

rcond用于病态矩阵的截断。最小二乘求解器做了两件事：

1. 找到使残差 Ax-b 范数最小化的 x
2. 如果多个 x 达到该最小值，则返回其中范数最小的 x。

当 x 的某些变化根本不影响右侧时，就会出现第二个子句。但由于浮点计算是不完美的，通常发生的情况是 x 的某些变化对右侧的影响很小。这就是rcond用来决定何时“非常少”应被视为“零到噪声”的地方。

例如，考虑系统

x1                     = 1
x1 + 0.0000000001 * x2 = 2

这个问题可以精确求解：x1 = 1 且 x2 = 10000000000。但是……这个微小的系数（实际上是经过一些矩阵操作后得出的）存在一些数值误差；据我们所知，它可能是负数或零。我们应该让它对解决方案产生如此巨大的影响吗？

因此，在这种情况下，矩阵（特别是其奇异值）会在 level 处被截断rcond。这留下

x1 = 1
x1 = 2

其中最小二乘解为 x1 = 1.5，x2 = 0。请注意，此解很稳健：系数的微小波动不会产生巨大的数字。

奇异值

当人们在最小二乘意义上求解线性方程组 Ax = b 时，A 的奇异值决定了这在数值上有多棘手。具体来说，最大和最小奇异值之间的巨大差异是有问题的：这样的系统是病态的。一个例子是

0.835*x1 + 0.667*x2 = 0.168
0.333*x1 + 0.266*x2 = 0.0067

精确解为 (1, -1)。但如果右侧从 0.067 变为 0.066，则解为 (-666, 834)——完全不同。问题是 A 的奇异值（大致）为 1 和 1e-6；这会将右侧的任何变化放大 1e6 倍。

不幸的是，多项式拟合通常会导致病态矩阵。例如，不建议拟合 24 到 25 次等距数据点的多项式。

import numpy as np
x = np.arange(25)
np.polyfit(x, x, 24, full=True)

奇异值是

 array([4.68696731e+00, 1.55044718e+00, 7.17264545e-01, 3.14298605e-01,
        1.16528492e-01, 3.84141241e-02, 1.15530672e-02, 3.20120674e-03,
        8.20608411e-04, 1.94870760e-04, 4.28461687e-05, 8.70404409e-06,
        1.62785983e-06, 2.78844775e-07, 4.34463936e-08, 6.10212689e-09,
        7.63709211e-10, 8.39231664e-11, 7.94539407e-12, 6.32326226e-13,
        4.09332903e-14, 2.05501534e-15, 7.55397827e-17, 4.81104905e-18,
        8.98275758e-20]),

其中，使用 rcond 的默认值（5.55e-15此处），将其中四个截断为 0。

最小和最大奇异值之间的幅度差异表明，通过大小为 1e-15 的数字扰动 y 值可能会导致系数发生大约 1 的变化。（并不是每个扰动都会这样做，只有一些扰动恰好与小奇异值的奇异向量对齐）。

秩

有效排名只是高于阈值的奇异值的数量rcond。在上面的例子中，它是 21。这意味着即使拟合是针对 25 个点，并且我们得到一个具有 25 个系数的多项式，但解中只有 21 个自由度。