R：保留某些变量的回归

Question

我正在使用 lm() 做一个多线性回归模型，Y 是响应变量（例如：利息回报），其他是解释变量（100 多个案例，30 多个变量）。

有某些变量被视为关键变量（与投资有关），当我运行 lm() 函数时，R 返回一个 adj.r.square 为 97% 的模型。但一些关键变量并不是重要的预测因素。

有没有办法通过保留模型中的所有关键变量（作为重要预测变量）来进行回归？调整后的R平方是否减小也没关系。

如果回归不起作用，还有其他方法吗？

谢谢你！

=========================

数据集上传 https://www.dropbox.com/s/gh61obgn2jr043y/df.csv

=========================

附加问题：如果某些变量对前期和本期有影响怎么办？示例：一个人在早上吃早餐时服用一颗药丸，药丸的效果可能会在午餐后持续（并且他/她在午餐时服用第二颗药丸）我想我需要考虑数据转换。* 我的第一选择是加上结转率：obs.2_trans = obs.2 + corate * obs.1 * 也许我还需要考虑药丸效应本身的衰减，所以是s曲线或指数变换也是必要的。

以变​​量 main1 为例，我可以使用 try-out 方法来获得理想的协同率和 s 曲线参数，从 0.5 开始，以 0.05 为步长进行测试，向上到 1 或向下到 0，直到获得最高的模型分数 -例如，最低的 AIC 或最高的 R 平方。这已经是一个巨大的测试量了。如果我需要同时测试 3 个以上的变量，我该如何通过 R 进行管理？

谢谢你！

Answer 1

首先，要注意“意义”。对于模型中包含的每个变量，线性建模包报告该变量的系数不为零的可能性（实际上，它们报告p=1-L）。我们说，如果 L 较大（p 较小），则系数“更显着”。因此，虽然谈论一个变量比另一个变量“更重要”是相当合理的，但没有断言“显着”与“不显着”的绝对标准。在大多数科学研究中，截止点是L>0.95（p<0.05）。但这完全是任意的，并且有很多例外。回想一下，CERN 不愿意断言希格斯玻色子的存在，直到他们收集到足够的数据来证明其在 6-sigma 的效应。这大致相当于 p < 1 × 10 ^-9。在另一个极端，许多社会科学研究断言 p < 0.2 具有显着性（因为固有变异性较高且样本数量通常较少）。因此，因为某个变量“不重要”而将其从模型中排除确实没有任何意义。另一方面，您将很难包含具有高 p 的变量，同时排除另一个具有较低 p 的变量。

\n\n

其次，如果您的变量高度相关（在您的情况下就是如此），那么从模型中删除一个变量会极大地改变所有 p 值是很常见的。具有高 p 值（不太显着）的保留变量可能会突然具有低 p 值（更显着），只是因为您从模型中删除了完全不同的变量。因此，尝试手动优化拟合通常是一个坏主意。

\n\n

幸运的是，有许多算法可以为您做到这一点。一种流行的方法从具有所有变量的模型开始。在每个步骤中，都会删除最不重要的变量，并将生成的模型与上一步的模型进行比较。如果根据某些指标删除此变量会显着降低模型性能，则该过程将停止。常用的度量标准是Akaike 信息准则stepAIC(...)(AIC)，在 R 中，我们可以根据包中使用的 AIC 准则来优化模型MASS。

\n\n

第三，回归模型的有效性取决于某些假设，尤其是这两个假设：误差方差是常数（不依赖于y），误差分布近似正态。如果不满足这些假设，p 值就完全没有意义！一旦我们拟合了模型，我们就可以使用残差图和 QQ 图来检查这些假设。对于任何候选模型都必须执行此操作！

\n\n

最后，异常值的存在经常会显着扭曲模型（几乎按照定义！）。如果变量高度相关，这个问题就会被放大。因此，就您的情况而言，寻找异常值非常重要，并看看删除它们后会发生什么。

\n\n

下面的代码将这一切汇总起来。

\n\n

library(MASS)\nurl <- "https://dl.dropboxusercontent.com/s/gh61obgn2jr043y/df.csv?dl=1&token_hash=AAGy0mFtfBEnXwRctgPHsLIaqk5temyrVx_Kd97cjZjf8w&expiry=1399567161"\ndf <- read.csv(url)\ninitial.fit <- lm(Y~.,df[,2:ncol(df)]) # fit with all variables (excluding PeriodID)\nfinal.fit   <- stepAIC(initial.fit)    # best fit based on AIC\npar(mfrow=c(2,2))\nplot(initial.fit)                      # diagnostic plots for base model\nplot(final.fit)                        # same for best model\nsummary(final.fit)\n# ...\n# Coefficients:\n#              Estimate Std. Error t value Pr(>|t|)    \n# (Intercept)  11.38360   18.25028   0.624  0.53452    \n# Main1       911.38514  125.97018   7.235 2.24e-10 ***\n# Main3         0.04424    0.02858   1.548  0.12547    \n# Main5         4.99797    1.94408   2.571  0.01195 *  \n# Main6         0.24500    0.10882   2.251  0.02703 *  \n# Sec1        150.21703   34.02206   4.415 3.05e-05 ***\n# Third2       -0.11775    0.01700  -6.926 8.92e-10 ***\n# Third3       -0.04718    0.01670  -2.826  0.00593 ** \n# ... (many other variables included)\n# ---\n# Signif. codes:  0 \xe2\x80\x98***\xe2\x80\x99 0.001 \xe2\x80\x98**\xe2\x80\x99 0.01 \xe2\x80\x98*\xe2\x80\x99 0.05 \xe2\x80\x98.\xe2\x80\x99 0.1 \xe2\x80\x98 \xe2\x80\x99 1\n# \n# Residual standard error: 22.76 on 82 degrees of freedom\n# Multiple R-squared:  0.9824,  Adjusted R-squared:  0.9779 \n# F-statistic:   218 on 21 and 82 DF,  p-value: < 2.2e-16\n\npar(mfrow=c(2,2))\nplot(initial.fit)\ntitle("Base Model",outer=T,line=-2)\nplot(final.fit)\ntitle("Best Model (AIC)",outer=T,line=-2)\n

\n\n

\n\n

\n\n

因此，您可以从中看到，基于 AIC 指标的“最佳模型”实际上包含 Main 1、3、5 和 6，但不包含 Main 2 和 4。残差图显示与 y 不相关（其中很好），QQ 图显示了残差的近似正态性（也很好）。另一方面，杠杆图显示了几个具有极高杠杆率的点（第 33 行和第 85 行），QQ 图显示了这些相同的点和第 47 行，其残差与正态分布并不真正一致。因此，我们可以重新运行排除这些行的拟合，如下所示。

\n\n

initial.fit <- lm(Y~.,df[c(-33,-47,-85),2:ncol(df)])\nfinal.fit   <- stepAIC(initial.fit,trace=0)\nsummary(final.fit)\n# ...\n# Coefficients:\n#               Estimate Std. Error t value Pr(>|t|)    \n# (Intercept)   27.11832   20.28556   1.337 0.185320    \n# Main1       1028.99836  125.25579   8.215 4.65e-12 ***\n# Main2          2.04805    1.11804   1.832 0.070949 .  \n# Main3          0.03849    0.02615   1.472 0.145165    \n# Main4         -1.87427    0.94597  -1.981 0.051222 .  \n# Main5          3.54803    1.99372   1.780 0.079192 .  \n# Main6          0.20462    0.10360   1.975 0.051938 .  \n# Sec1         129.62384   35.11290   3.692 0.000420 ***\n# Third2        -0.11289    0.01716  -6.579 5.66e-09 ***\n# Third3        -0.02909    0.01623  -1.793 0.077060 .  \n# ... (many other variables included)\n

\n\n

因此，排除这些行会导致拟合结果中所有“主”变量的 p < 0.2，以及除 Main 3 之外的所有变量的 p < 0.1 (90%)。我想查看这三行，看看是否有合理的理由排除它们。

\n\n

最后，仅仅因为您拥有一个非常适合现有数据的模型，并不意味着它作为预测模型表现良好。特别是，如果您试图在“模型空间”之外进行预测（相当于外推法），那么您的预测能力可能很差。

\n