使用curve_fit将曲线拟合到幂律分布不起作用

Question

我试图找到一条适合我的数据的曲线,在视觉上似乎具有幂律分布.

我希望利用scipy.optimize.curve_fit,但无论我尝试什么功能或数据规范化,我都会得到RuntimeError(找不到参数或溢出)或者甚至远程不适合我的数据的曲线.请帮我弄清楚我在做错了什么.

%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy.optimize import curve_fit

df = pd.DataFrame({
            'x': [ 1000, 3250, 5500, 10000, 32500, 55000, 77500, 100000, 200000 ],
            'y': [ 1100, 500, 288, 200, 113, 67, 52, 44, 5 ]
        })
df.plot(x='x', y='y', kind='line', style='--ro', figsize=(10, 5))

def func_powerlaw(x, m, c, c0):
    return c0 + x**m * c

target_func = func_powerlaw

X = df['x']
y = df['y']

popt, pcov = curve_fit(target_func, X, y)

plt.figure(figsize=(10, 5))
plt.plot(X, target_func(X, *popt), '--')
plt.plot(X, y, 'ro')
plt.legend()
plt.show()

产量

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-243-17421b6b0c14> in <module>()
     18 y = df['y']
     19 
---> 20 popt, pcov = curve_fit(target_func, X, y)
     21 
     22 plt.figure(figsize=(10, 5))

/Users/evgenyp/.virtualenvs/kindle-dev/lib/python2.7/site-packages/scipy/optimize/minpack.pyc in curve_fit(f, xdata, ydata, p0, sigma, absolute_sigma, check_finite, bounds, method, **kwargs)
    653         cost = np.sum(infodict['fvec'] ** 2)
    654         if ier not in [1, 2, 3, 4]:
--> 655             raise RuntimeError("Optimal parameters not found: " + errmsg)
    656     else:
    657         res = least_squares(func, p0, args=args, bounds=bounds, method=method,

RuntimeError: Optimal parameters not found: Number of calls to function has reached maxfev = 800.

Answer 1

当回溯状态时,达到了函数评估的最大数量而没有找到静止点(以终止算法).您可以使用该选项增加最大数量maxfev.对于此示例,设置maxfev=2000足够大以成功终止算法.

但是,解决方案并不令人满意.这是由于算法选择变量的(默认)初始估计,对于这个例子,这是不好的(所需的大量迭代是这个的指示).提供另一个初始化点(通过简单的试验和错误找到)可以很好地拟合,而不需要增加maxfev.

两种拟合和与数据的视觉比较如下所示.

x = np.asarray([ 1000, 3250, 5500, 10000, 32500, 55000, 77500, 100000, 200000 ])
y = np.asarray([ 1100, 500, 288, 200, 113, 67, 52, 44, 5 ])

sol1 = curve_fit(func_powerlaw, x, y, maxfev=2000 )
sol2 = curve_fit(func_powerlaw, x, y, p0 = np.asarray([-1,10**5,0]))

Answer 2

你func_powerlaw不是严格的幂律，因为它有一个附加常数。

一般来说，如果你想快速直观地评估幂律关系，你会

plot(log(x),log(y))

或者

loglog(x,y)

它们都应该给出一条直线，尽管它们之间存在细微的差异（特别是在曲线拟合方面）。

所有这些都没有加性常数，这会弄乱幂律关系。

如果您想拟合根据对数-对数刻度（通常是可取的）对数据进行加权的幂律，您可以使用下面的代码。

import numpy as np
from scipy.optimize import curve_fit

def powlaw(x, a, b) :
    return a * np.power(x, b)
def linlaw(x, a, b) :
    return a + x * b

def curve_fit_log(xdata, ydata) :
    """Fit data to a power law with weights according to a log scale"""
    # Weights according to a log scale
    # Apply fscalex
    xdata_log = np.log10(xdata)
    # Apply fscaley
    ydata_log = np.log10(ydata)
    # Fit linear
    popt_log, pcov_log = curve_fit(linlaw, xdata_log, ydata_log)
    #print(popt_log, pcov_log)
    # Apply fscaley^-1 to fitted data
    ydatafit_log = np.power(10, linlaw(xdata_log, *popt_log))
    # There is no need to apply fscalex^-1 as original data is already available
    return (popt_log, pcov_log, ydatafit_log)