尽管 x0 在范围内，但 Scipy 优化会引发 ValueError

Question

我正在尝试将 sigmoid 曲线拟合到一小组点上，基本上从一组观察中生成概率曲线。我正在使用scipy.optimize.curve_fit, 带有稍微修改的逻辑函数（以便完全绑定在 [0,1] 内）。目前，我在 dogbox 方法和精确的 tr_solver 方面取得了最大的成功。

当我尝试运行代码时，对于某些数据点，它会引发：

ValueError: `x0` violates bound constraints.

我没有遇到这个问题（使用相同的代码和数据），直到我更新到最新版本的 numpy/scipy（numpy 1.17.0，scipy 1.3.1），所以我相信这是这次更新的结果（我无法降级，因为我需要用于该项目其他方面的其他库需要这些版本）

我在一个大型数据集 (N ~15000) 上运行它，对于非常具体的值，曲线拟合失败，声称初始猜测超出了边界约束。事实并非如此，甚至在提供的示例中拟合曲线之前通过打印语句快速检查也证实了这一点。

起初我认为这是一个 numpy 精度错误，这么小的值被认为是越界的，但是稍微改变它或提供一个新的、类似大小的任意数字不会导致 ValueError。此外，其他失败的值与 ~1e-10 一样大，所以我认为它一定是别的东西。

这是一个每次都失败的例子：

import numpy as np
import scipy as sp
from scipy.special import expit, logit
import scipy.optimize

def f(x,x0,g,c,k):
    y = c*expit(k*10.*(x-x0)) + g*(1.-c)
    return y

#               x0                      g                       c                       k
p0 = np.array([8.841357069490852e-01, 4.492363462957287e-19, 5.547073496706608e-01, 7.435378446218519e+00])
bounds = np.array([[-1.,1.], [0.,1.], [0.,1.], [0.,20.]])
x = np.array([1.0, 1.0, 1.0, 1.0, 1.0, 0.8911796599834791, 1.0, 1.0, 1.0, 0.33232919909076103, 1.0])
y = np.array([0.999, 0.999, 0.999, 0.999, 0.999, 0.001, 0.001, 0.001, 0.001, 0.001, 0.001])
s = np.array([0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9, 0.9])

print([pval >= b[0] and pval <= b[1] for pval,b in zip(p0,bounds)])

fit,cov = sp.optimize.curve_fit(f,x,y,p0=p0,sigma=s,bounds=([b[0] for b in bounds],[b[1] for b in bounds]),method='dogbox',tr_solver='exact')

print(fit)
print(cov)

这是特定的错误堆栈，上面调用曲线拟合之后的所有内容。

File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\minpack.py", line 763, in curve_fit
  **kwargs)
File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_lsq\least_squares.py", line 927, in least_squares
  tr_solver, tr_options, verbose)
File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_lsq\dogbox.py", line 310, in dogbox
  J = jac(x, f)
File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_lsq\least_squares.py", line 874, in jac_wrapped
  kwargs=kwargs, sparsity=jac_sparsity)
File "C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_numdiff.py", line 362, in approx_derivative
  raise ValueError("`x0` violates bound constraints.")
ValueError: `x0` violates bound constraints.

如果有人对可能导致这种情况的原因有任何见解，我将不胜感激！我做了一些搜索，找不到任何可能与这种情况有关的答案，所以我决定打开这个问题。谢谢！

编辑 9/9/19： np.__version__是 1.17.2 和sp.__version__1.3.1，当我最初发布这个时，我在 numpy 1.17.0 上，但升级并没有解决这个问题。我在 64 位 Windows 10 上的 Python 3.6.6 上运行它。

如果我将第二个或第四个绑定更改为 +/-np.inf（或同时更改两者），那么代码实际上是完整的——但我仍然不确定我的 x0 是如何无效的（我仍然需要拟合受限于这些值）

编辑：1/22/20 升级np.__version__到 1.18.1 和sp.__version__1.4.1，但无济于事。我已针对此错误在 scipy github 存储库上打开了一个问题。但是，他们似乎也无法重现该问题，因此无法解决该问题。

Answer 1

可怕的黑客。不要在家里这样做:)但如果您只是需要完成工作，则需要您自担风险：

在

C:\Users\user\AppData\Local\Programs\Python\Python36\lib\site-packages\scipy\optimize\_numdiff.py

寻找：

if np.any((x0 < lb) | (x0 > ub)):
    raise ValueError("`x0` violates bound constraints.")

用。。。来代替：

if np.any(((x0 - lb) < -1e-12) | (x0 > ub)):
    raise ValueError("`x0` violates bound constraints.")

-1e-12您认为您的案例可以容忍的边界约束错误在哪里(x0-lb) < 0。这x0是一个猜测，lb也是一个下限。

我不知道这次黑客攻击会造成什么样的恐怖后果。但如果你只是想继续...