如何解释`scipy.stats.kstest`和`ks_2samp`来评估数据的"拟合"？

Question

我正在尝试评估/测试我的数据与特定分布的匹配程度.

有几个问题,我被告知使用scipy.stats.kstest或scipy.stats.ks_2samp.这似乎很简单,给它:(A)数据; (2)分配; (3)拟合参数.唯一的问题是我的结果没有任何意义？我想测试我的数据的"好",它适合不同的发行版,但从输出结果来看kstest,我不知道我是否能做到这一点？

SciPy中的拟合优度测试

"[SciPy]包含KS"

使用Scipy的stats.kstest模块进行拟合优度测试说

"第一个值是测试统计数据,第二个值是p值.如果p值小于95(对于5%的显着性水平),这意味着你不能拒绝Null-Hypothese这两个样本分布完全相同."

这只是展示如何拟合: 拟合分布,拟合优度,p值.用Scipy(Python)可以做到这一点吗？

np.random.seed(2)
# Sample from a normal distribution w/ mu: -50 and sigma=1
x = np.random.normal(loc=-50, scale=1, size=100)
x
#array([-50.41675785, -50.05626683, -52.1361961 , -48.35972919,
#        -51.79343559, -50.84174737, -49.49711858, -51.24528809,
#        -51.05795222, -50.90900761, -49.44854596, -47.70779199,

# ...
#        -50.46200535, -49.64911151, -49.61813377, -49.43372456,
#        -49.79579202, -48.59330376, -51.7379595 , -48.95917605,
#        -49.61952803, -50.21713527, -48.8264685 , -52.34360319])

# Try against a Gamma Distribution
distribution = "gamma"
distr = getattr(stats, distribution)
params = distr.fit(x)

stats.kstest(x,distribution,args=params)
KstestResult(statistic=0.078494356486987549, pvalue=0.55408436218441004)

一个p_value pvalue=0.55408436218441004是说normal和gamma抽样是来自相同的分配？

我认为伽玛分布必须包含正值？https://en.wikipedia.org/wiki/Gamma_distribution

现在反对正常分布:

# Try against a Normal Distribution
distribution = "norm"
distr = getattr(stats, distribution)
params = distr.fit(x)

stats.kstest(x,distribution,args=params)
KstestResult(statistic=0.070447707170256002, pvalue=0.70801104133244541)

根据这一点,如果我采用最低的p_value,那么我会得出结论我的数据来自gamma分布,即使它们都是负值？

np.random.seed(0)

distr = getattr(stats, "norm")
x = distr.rvs(loc=0, scale=1, size=50)
params = distr.fit(x)
stats.kstest(x,"norm",args=params, N=1000)

KstestResult(statistic=0.058435890774587329, pvalue=0.99558592119926814)

这意味着在5%的显着性水平上,我可以拒绝分布相同的零假设.所以我得出结论他们是不同的,但他们显然不是？ 我不正确地解释这个吗？如果我把它设为单尾,是否会使它越大,它们来自同一分布的可能性越大？

Answer 1

因此,KT检验的零假设是分布是相同的.因此,你的p值越低,你必须拒绝零假设的统计证据越大,并得出结论不同的分布.该测试只能让您确信您的分布是不同的,不一样的,因为测试旨在找到alpha,即I类错误的概率.

此外,我非常确定KT测试只有在事先考虑到完全指定的分布时才有效.在这里,您只需在一些数据上拟合伽玛分布,当然,测试产生高p值也就不足为奇了(即您不能拒绝分布相同的零假设).

真的很快,这里是你适合的Gamma的pdf(蓝色)与你采样的正态分布的pdf(绿色):

In [13]: paramsd = dict(zip(('shape','loc','scale'),params))

In [14]: a = paramsd['shape']

In [15]: del paramsd['shape']

In [16]: paramsd
Out[16]: {'loc': -71.588039241913037, 'scale': 0.051114096301755507}

In [17]: X = np.linspace(-55, -45, 100)

In [18]: plt.plot(X, stats.gamma.pdf(X,a,**paramsd))
Out[18]: [<matplotlib.lines.Line2D at 0x7ff820f21d68>]

很明显,这些并没有太大的不同.实际上,该测试将经验CDF(ECDF)与您候选分布的CDF进行比较(同样,您从将数据拟合到该分布中得出),并且测试统计量是最大差异.借用这里的ECDF实现,我们可以看出任何这样的最大差异都很小,测试显然不会拒绝零假设:

In [32]: def ecdf(x):
   .....:         xs = np.sort(x)
   .....:         ys = np.arange(1, len(xs)+1)/float(len(xs))
   .....:         return xs, ys
   .....: 

In [33]: plt.plot(X, stats.gamma.cdf(X,a,**paramsd))
Out[33]: [<matplotlib.lines.Line2D at 0x7ff805223a20>]

In [34]: plt.plot(*ecdf(x))
Out[34]: [<matplotlib.lines.Line2D at 0x7ff80524c208>]