curve_fit拟合高度相关数据的问题

Question

对于我的学士论文，我正在研究一个项目，我想对一些数据进行拟合。问题有点复杂，但我试图在这里最小化问题：

我们有三个数据点（可用的理论数据很少），但这些点高度相关。

使用 curve_fit 来拟合这些点，我们得到了一个可怕的拟合结果，正如您在这张图中看到的那样。（通过手动更改拟合参数可以轻松改善拟合）。

我们的拟合结果具有相关性（蓝色）和被忽略的相关性（橙色）：

当我们使用更多参数时，结果会更好（因为那时拟合的行为本质上就像求解一样）。

我的问题：为什么会出现这种行为？（我们使用自己的最小二乘算法来解决我们的特定问题，但它也遇到了同样的问题）。这是一个数值问题，还是有什么充分的理由让 curve_fit 显示这个解决方案？

我很高兴能有一个很好的解释来说明为什么我们不能使用“仅 2 个”参数来拟合这三个高度相关的数据点。

import numpy as np
from scipy.optimize import curve_fit
import matplotlib.pyplot as plt
plt.rcParams['lines.linewidth'] = 1

y = np.array([1.1994, 1.0941, 1.0047])
w = np.array([1, 1.08, 1.16])
cor = np.array([[1, 0.9674, 0.8812],[0.9674, 1, 0.9523], [0.8812, 0.9523, 1]])
s = np.array([0.0095, 0.0104, 0.0072])

def f(x, a, b):
    return a + b*x

cov = np.zeros((3,3))
for i in range(3):
    for j in range(3):
        cov[i,j] = cor[i,j] * s[i] * s[j]

A1, B1 = curve_fit(f, w, y, sigma=cov)
A2, B2 = curve_fit(f, w, y)

plt.plot(w, f(w, *A1))
plt.plot(w, f(w, *A2))

plt.scatter(w, y)
plt.show()

Answer 1

这不是一个数字问题。“问题”是协方差矩阵的非对角项都是正数并且相对较大。这些决定了拟合中误差之间的相关性，因此如果所有项均为正，则表示所有误差都是正相关的。如果其中一个很大，其他的也往往也很大，并且具有相同的符号。

这是一个与您的示例类似的示例，其中包含协方差矩阵

        [2.0  1.3  0.0]
sigma = [1.3  2.0  1.3]
        [0.0  1.3  2.0]

（该矩阵的条件数为 23.76，因此我们不应期望出现任何数值问题。）

虽然第一个点和第三个点之间的协方差为 0，但第一点和第二点之间以及第二点和第三点之间的协方差为 1.3，并且 1.3 是方差中相对较大的一部分，方差均为 2。因此这并不奇怪如果拟合模型中的所有误差具有相同的符号。

该脚本对三点进行拟合并绘制数据和拟合线。

import numpy as np
from scipy.optimize import curve_fit
import matplotlib.pyplot as plt


def f(x, a, b):
    return a + b*x


x = np.array([1, 2, 3])
y = np.array([2, 0.75, 0])
sig = np.array([[2.0, 1.3, 0.0],
                [1.3, 2.0, 1.3],
                [0.0, 1.3, 2.0]])

params, pcov = curve_fit(f, x, y, sigma=sig)

y_errors = f(x, *params) - y

plt.plot(x, y, 'ko', label="data")
plt.plot(x, f(x, *params), linewidth=2.5, label="fitted curve")
plt.vlines(x, y, f(x, *params), 'r')

for k in range(3):
    plt.annotate(s=r"$e_{%d}$" % (k+1), xy=(x[k]-0.05, y[k]+0.5*y_errors[k]), ha='right')

plt.xlabel('x')
plt.ylabel('y')
plt.axis('equal')
plt.grid()
plt.legend(framealpha=1, shadow=True)
plt.show()

正如您在图中看到的，所有错误都具有相同的符号。

我们可以通过考虑另一个协方差矩阵来证实这个推理，

        [ 2.0   1.3  -1.0]
sigma = [ 1.3   2.0  -1.3]
        [-1.0  -1.3   2.0]

在这种情况下，所有非对角项的大小都相对较大。第一个和第二个误差之间的协方差为正，第二个和第三个误差之间以及第一个和第三个误差之间的协方差为负。如果这些非对角项相对于方差足够大，我们应该期望前两个点的误差符号相同，而第三个误差将具有与前两个点相反的符号。

sig这是当更改为上面的矩阵时脚本生成的图：

错误显示了预期的模式。