大阵列的密度估计

Question

我使用gaussian_kdeSciPy 中的函数来生成核密度估计：

from scipy.stats.kde import gaussian_kde
from scipy.stats import norm
from numpy import linspace,hstack
from pylab import plot,show,hist

# creating data with two peaks
sampD1 = norm.rvs(loc=-1.0,scale=1,size=300)
sampD2 = norm.rvs(loc=2.0,scale=0.5,size=300)
samp = hstack([sampD1,sampD2])

# obtaining the pdf (my_pdf is a function!)
my_pdf = gaussian_kde(samp)

# plotting the result
x = linspace(-5,5,100)
plot(x,my_pdf(x),'r') # distribution function
hist(samp,normed=1,alpha=.3) # histogram
show()

上面的代码可以工作，但对于大量样本来说可能会非常慢。

我没有将样本存储在数组中，而是有一个包含value: counts. 例如，数组[1, 1, 1, 2, 2, 3]将在此直方图字典中编码为：

{1:3, 2:2, 3:1}。

我的问题是，如何使用字典数据结构生成核密度估计？作为输入示例，请考虑此字典，其中值 6 出现了 2081 次：

samp = {1: 1000, 2: 2800, 3: 6900, 4: 4322:, 5: 2300, 6: 2081}

先谢谢您的帮助。

Answer 1

您可以自己进行高斯 KDE：您首先需要创建步长足够小的简单直方图。然后使用 fftconvolve (scipy.signal.fftconvolve) 将结果与高斯进行卷积

import numpy as np, numpy.random,scipy,scipy.stats,scipy.signal,matplotlib.pyplot as plt
N = 1e5
minx = -10
maxx = 10
bins = 10000
w = 0.1 # kernel sigma

xs1 = np.random.normal(0, 1, size=N)
xs2 = np.random.normal(1.9, 0.01, size=N)
xs = np.r_[xs1, xs2]
hh,loc = scipy.histogram(xs, range=(minx, maxx), bins=bins)
kernel = scipy.stats.norm.pdf((loc[1:]+loc[:-1]) * .5, 0, w)
kde = scipy.signal.fftconvolve(hh, kernel, 'same')
plt.plot((loc[1:] + loc[:-1])*.5, kde)