使用MATLAB进行简单的二元逻辑回归

Question

我正在使用MATLAB进行逻辑回归,以解决一个简单的分类问题.我的协变量是一个介于0和1之间的连续变量,而我的分类响应是0(不正确)或1(正确)的二进制变量.

我正在寻找逻辑回归来建立预测器,该预测器将输出某些输入观察的概率(例如,如上所述的连续变量)是正确的或不正确的.虽然这是一个相当简单的场景,但我在MATLAB中运行它时遇到了一些麻烦.

我的方法如下:我有一个列向量X包含连续变量的值,另一个同等大小的列向量Y包含每个值的已知分类X(例如0或1).我正在使用以下代码:

[b,dev,stats] = glmfit(X,Y,'binomial','link','logit');

然而,这给了我无意义的结果,其中p = 1.000,系数(b)非常高(-650.5,1320.1),并且相关的标准误差值大约为1e6.

然后我尝试使用其他参数来指定二项式样本的大小:

glm = GeneralizedLinearModel.fit(X,Y,'distr','binomial','BinomialSize',size(Y,1));

这给了我更符合我的预期的结果.我提取了系数,用于glmval创建estimate(Y_fit = glmval(b,[0:0.01:1],'logit');),并为fitting(X_fit = linspace(0,1))创建了一个数组.当我使用原始数据和模型的图重叠时,模型figure, plot(X,Y,'o',X_fit,Y_fit'-')的结果图基本上看起来像'S'形图的下1/4,这是典型的逻辑回归图.

我的问题如下:

1)为什么我的使用glmfit给出了奇怪的结果？
2)我应该如何解决我的初始问题:给定一些输入值,它的分类是正确的概率是多少？
3)如何获得模型参数的置信区间？glmval应该能够输入stats输出glmfit,但我的使用glmfit并没有给出正确的结果.

任何评论和意见都非常有用,谢谢!

更新(2014年3月18日)

我发现mnrval似乎给出了合理的结果.我可以用[b_fit,dev,stats] = mnrfit(X,Y+1);这里Y+1只是让我的二元分类为标称之一.

我可以遍历[pihat,lower,upper] = mnrval(b_fit,loopVal(ii),stats);以获得各种pihat概率值,其中loopVal = linspace(0,1)或某些适当的输入范围和"ii = 1:length(loopVal)".

该stats参数具有很大的相关系数(0.9973),但p值为b_fit0.0847和0.0845,我不太清楚如何解释.有什么想法吗？另外,为什么会mrnfit工作在glmfit我的例子吗？我应该注意到,使用时系数的p值GeneralizedLinearModel.fit都是p<<0.001,并且系数估计也是非常不同的.

最后,如何解释函数的dev输出mnrfit？MATLAB文件指出它是"解决方案向量的拟合偏差.偏差是残差平方和的推广." 这是一个独立的值,还是仅与dev其他模型的值进行比较？

Answer 1

听起来你的数据可能是线性可分的。简而言之，这意味着由于您的输入数据是一维的，因此存在某个值，x使得 的所有值都x < xDiv属于一个类（例如y = 0），而 的所有值都x > xDiv属于另一类（y = 1）。

如果您的数据是二维的，这意味着您可以在二维空间中画一条线，X使得特定类的所有实例都位于该线的一侧。

这对于逻辑回归 (LR) 来说是个坏消息，因为 LR 并不是真正要处理数据线性可分的问题。

逻辑回归试图拟合以下形式的函数：

仅当分母中指数内的表达式为负无穷大或无穷大时，才会返回y = 0或的值。y = 1

现在，由于您的数据是线性可分的，并且 Matlab 的 LR 函数尝试找到数据的最大似然拟合，因此您将获得极端的权重值。

这不一定是一种解决方案，但请尝试仅翻转一个数据点上的标签（因此对于set 的t某些索引）。这将导致您的数据不再是线性可分的，并且学习到的权重值将急剧接近于零。y(t) == 0y(t) = 1