理解高斯混合模型的概念

Question

我正在尝试通过阅读在线提供的资料来了解GMM.我已经使用K-Means实现了聚类,并且看到GMM将如何与K-means进行比较.

这是我所理解的,如果我的概念错了,请告诉我:

GMM就像KNN一样,在这两种情况下都实现了聚类.但在GMM中,每个群集都有自己独立的均值和协方差.此外,k-means执行数据点到集群的硬分配,而在GMM中,我们得到一组独立的高斯分布,并且对于每个数据点,我们有一个它属于其中一个分布的概率.

为了更好地理解它,我使用MatLab对其进行编码并实现所需的聚类.我使用SIFT功能进行特征提取.并使用k-means聚类来初始化值.(这来自VLFeat文档)

%images is a 459 x 1 cell array where each cell contains the training image
[locations, all_feats] = vl_dsift(single(images{1}), 'fast', 'step', 50); %all_feats will be 128 x no. of keypoints detected
for i=2:(size(images,1))
    [locations, feats] = vl_dsift(single(images{i}), 'fast', 'step', 50);
    all_feats = cat(2, all_feats, feats); %cat column wise all features
end

numClusters = 50; %Just a random selection.
% Run KMeans to pre-cluster the data
[initMeans, assignments] = vl_kmeans(single(all_feats), numClusters, ...
    'Algorithm','Lloyd', ...
    'MaxNumIterations',5);

initMeans = double(initMeans); %GMM needs it to be double

% Find the initial means, covariances and priors
for i=1:numClusters
    data_k = all_feats(:,assignments==i);
    initPriors(i) = size(data_k,2) / numClusters;

    if size(data_k,1) == 0 || size(data_k,2) == 0
        initCovariances(:,i) = diag(cov(data'));
    else
        initCovariances(:,i) = double(diag(cov(double((data_k')))));
    end
end

% Run EM starting from the given parameters
[means,covariances,priors,ll,posteriors] = vl_gmm(double(all_feats), numClusters, ...
    'initialization','custom', ...
    'InitMeans',initMeans, ...
    'InitCovariances',initCovariances, ...
    'InitPriors',initPriors);

基于以上我有means,covariances和priors.我的主要问题是,现在怎么办？我现在有点迷茫.

而且means,covariances矢量都是大小128 x 50.我期待它们是1 x 50因为每个列都是一个簇,每个簇只有一个均值和协方差吗？(我知道128是SIFT功能,但我期待手段和协方差).

在k-means中,我使用了MatLab命令knnsearch(X,Y),该命令基本上为Y中的每个点找到X中的最近邻居.

那么如何在GMM中实现这一点,我知道它是概率的集合,并且当然最接近的概率将是我们的获胜集群.而这就是我感到困惑的地方.所有在线教程教如何实现的means,covariances值,但不要说如何在集群方面的实际使用它们了.

谢谢

Answer 1

我认为如果你先看看GMM模型代表的是什么会有所帮助.我将使用功能从统计工具箱,但你应该能够做到的使用VLFeat相同.

让我们从两个1维正态分布混合的情况开始.每个高斯由一对均值和方差表示.混合物为每个组分分配权重(先前).

例如,让两个具有相等权重(p = [0.5; 0.5])的正态分布混合,第一个以0为中心,第二个以5(mu = [0; 5])为中心,第一个和第二个分布(sigma = cat(3, 1, 2))的方差分别等于1和2 .

正如您在下面所看到的,均值有效地改变了分布,而方差则决定了它的宽/窄和平/尖.先前设定混合比例以获得最终的组合模型.

% create GMM
mu = [0; 5];
sigma = cat(3, 1, 2);
p = [0.5; 0.5];
gmm = gmdistribution(mu, sigma, p);

% view PDF
ezplot(@(x) pdf(gmm,x));

EM集群的想法是每个分布代表一个集群.所以在上面的一维数据示例中,如果给你一个实例x = 0.5,我们会将它分配为属于第一个集群/模式,概率为99.5%

>> x = 0.5;
>> posterior(gmm, x)
ans =
    0.9950    0.0050    % probability x came from each component

你可以看到实例如何在第一个钟形曲线下完好无损.然而,如果你在中间采取一个观点,那么答案将更加模糊(指向class = 2,但确定性更低):

>> x = 2.2
>> posterior(gmm, 2.2)
ans =
    0.4717    0.5283

相同的概念通​​过多元正态分布扩展到更高维度.在不止一个维度中,协方差矩阵是方差的推广,以便考虑特征之间的相互依赖性.

下面是两个维度中两个MVN分布混合的示例:

% first distribution is centered at (0,0), second at (-1,3)
mu = [0 0; 3 3];

% covariance of first is identity matrix, second diagonal
sigma = cat(3, eye(2), [5 0; 0 1]);

% again I'm using equal priors
p = [0.5; 0.5];

% build GMM
gmm = gmdistribution(mu, sigma, p);

% 2D projection
ezcontourf(@(x,y) pdf(gmm,[x y]));

% view PDF surface
ezsurfc(@(x,y) pdf(gmm,[x y]));

协方差矩阵如何影响关节密度函数的形状背后有一些直觉.例如,在2D中,如果矩阵是对角线,则意味着两个维度不共同变化.在这种情况下,PDF看起来像一个轴对齐的椭圆,水平或垂直伸展,根据哪个维度具有更大的方差.如果它们相等,那么形状就是一个完美的圆形(分布在两个维度上以相同的速率展开).最后,如果协方差矩阵是任意的(非对角线但仍然按照定义对称),那么它可能看起来像是以某个角度旋转的拉伸椭圆.

因此,在上图中,您应该能够分辨出两个"颠簸"以及每个代表的个体分布.当您进入3D和更高维度时,请将其视为N-dims中的(超)椭圆体.

现在,当您使用GMM 执行聚类时,目标是找到模型参数(每个分布的均值和协方差以及先验),以便最终的模型最适合数据.最佳拟合估计转化为最大化给定GMM模型的数据的可能性(意味着您选择最大化的模型Pr(data|model)).

正如其他人所解释的那样,这是使用EM算法迭代求解的 ; EM以混合模型的参数的初始估计或猜测开始.它针对参数产生的混合密度迭代地对数据实例进行重新评分.然后使用重新评分的实例来更新参数估计.重复此过程直到算法收敛.

不幸的是,EM算法对模型的初始化非常敏感,因此如果设置较差的初始值,甚至陷入局部最优值,可能需要很长时间才能收敛.初始化GMM参数的更好方法是使用K-means作为第一步(就像您在代码中显示的那样),并使用这些集群的均值/ cov来初始化EM.

与其他集群分析技术一样,我们首先需要确定要使用的集群数量.交叉验证是一种可靠的方法,可以很好地估计集群数量.

EM集群的缺点是需要适应很多参数,并且通常需要大量数据和多次迭代才能获得良好的结果.具有M-混合和D-维数据的无约束模型涉及拟合D*D*M + D*M + M参数(M个协方差矩阵,每个大小为DxD,加上M个长度为D的平均向量,加上长度为M的先验矢量).对于具有大量维度的数据集,这可能是一个问题.因此,习惯上施加限制和假设来简化问题(一种规范化以避免过度拟合问题).例如,您可以将协方差矩阵固定为仅对角线,甚至可以在所有高斯中共享协方差矩阵.

最后,一旦您拟合了混合模型,您就可以通过使用每个混合成分计算数据实例的后验概率来探索聚类(就像我在1D示例中所示).GMM根据此"成员资格"可能性将每个实例分配给群集.

以下是使用高斯混合模型聚类数据的更完整示例:

% load Fisher Iris dataset
load fisheriris

% project it down to 2 dimensions for the sake of visualization
[~,data] = pca(meas,'NumComponents',2);
mn = min(data); mx = max(data);
D = size(data,2);    % data dimension    

% inital kmeans step used to initialize EM
K = 3;               % number of mixtures/clusters
cInd = kmeans(data, K, 'EmptyAction','singleton');

% fit a GMM model
gmm = fitgmdist(data, K, 'Options',statset('MaxIter',1000), ...
    'CovType','full', 'SharedCov',false, 'Regularize',0.01, 'Start',cInd);

% means, covariances, and mixing-weights
mu = gmm.mu;
sigma = gmm.Sigma;
p = gmm.PComponents;

% cluster and posterior probablity of each instance
% note that: [~,clustIdx] = max(p,[],2)
[clustInd,~,p] = cluster(gmm, data);
tabulate(clustInd)

% plot data, clustering of the entire domain, and the GMM contours
clrLite = [1 0.6 0.6 ; 0.6 1 0.6 ; 0.6 0.6 1];
clrDark = [0.7 0 0 ; 0 0.7 0 ; 0 0 0.7];
[X,Y] = meshgrid(linspace(mn(1),mx(1),50), linspace(mn(2),mx(2),50));
C = cluster(gmm, [X(:) Y(:)]);
image(X(:), Y(:), reshape(C,size(X))), hold on
gscatter(data(:,1), data(:,2), species, clrDark)
h = ezcontour(@(x,y)pdf(gmm,[x y]), [mn(1) mx(1) mn(2) mx(2)]);
set(h, 'LineColor','k', 'LineStyle',':')
hold off, axis xy, colormap(clrLite)
title('2D data and fitted GMM'), xlabel('PC1'), ylabel('PC2')