GAM 中的权重选项

Question

我的数据集有许多冗余观察（但每个观察都应该被计数）。所以我考虑在 GAM 中使用“权重”选项，因为它可以显着减少计算时间。

gam函数（在mgcv包中）解释说它们是“等价的”（来自?gam参数weights）：

“请注意，例如，权重为 2 相当于进行了两次完全相同的观察。”

但这似乎不对。

yy = c(5,2,8,9)
xx = 1:4
wgts = c(3,2,4,1)
yy2 = rep(yy, wgts)
xx2 = rep(xx, wgts)
mod1 = gam(yy2 ~ xx2)
mod2 = gam(yy ~ xx, weights = wgts)
mod3 = gam(yy ~ xx, weights = wgts / mean(wgts))

predict(mod1,data.frame(xx2=1:4))
predict(mod2,data.frame(xx=1:4))
predict(mod3,data.frame(xx=1:4))

所有三个模型的估计值都是相同的。模型 2 和 3 中的标准误相同，但模型 1 中的标准误不同。所有三个模型中的 GCV 都不同。

我知道 GCV 可能会有所不同。但如果标准误不同，我们怎么能说模型是相同的呢？这是一个错误，或者对此有什么好的解释吗？

Answer 1

您看到的问题与 GAM 无关。您曾经gam拟合过参数模型，在这种情况下，gam其行为几乎与 相同lm。要回答您的问题，只需关注线性回归案例就足够了。线性模型发生的情况也会发生在 GLM 和 GAM 上。以下是我们如何重现该问题的方法lm：

yy <- c(5,2,8,9)
xx <- 1:4
wgts <- c(3,2,4,1)
yy2 <- rep(yy,wgts)
xx2 <- rep(xx,wgts)
fit1 <- lm(yy2 ~ xx2)
fit2 <- lm(yy ~ xx, weights = wgts)
fit3 <- lm(yy ~ xx, weights = wgts/mean(wgts))
summary1 <- summary(fit1)
summary2 <- summary(fit2)
summary3 <- summary(fit3)
pred1 <- predict(fit1, list(xx2 = xx), interval = "confidence", se.fit = TRUE)
pred2 <- predict(fit2, list(xx = xx), interval = "confidence", se.fit = TRUE)
pred3 <- predict(fit3, list(xx = xx), interval = "confidence", se.fit = TRUE)

所有模型都有相同的回归系数，但其他结果可能不同。你问：

1. 对于加权回归fit2和fit3，为什么除了残差标准误差之外几乎一切都相同？
2. 为什么加权回归（fit2或fit3）不等于带关系的普通回归？

您的第一个问题是关于权重最小二乘法与权重的缩放不变性。这是我做的一个简短的总结：

如果我们将W重新调整为任意正值，则只有残差标准误差和未调整协方差会发生变化。这种变化并不意味着不同的、不等效的模型。事实上，与预测相关的一切都不受影响。在加权回归中，不要只看sigma2；这只是一个边际方差。真正感兴趣的是乘以权重后的总方差。如果将权重除以 2，您会得到sigma2双倍数，但将它们相乘时仍然会得到相同的结果。

summary2$coef
summary3$coef

#            Estimate Std. Error   t value  Pr(>|t|)
#(Intercept) 2.128713   3.128697 0.6803832 0.5664609
#xx          1.683168   1.246503 1.3503125 0.3094222

pred2
pred3

#$fit
#       fit        lwr      upr
#1 3.811881 -5.0008685 12.62463
#2 5.495050 -0.1299942 11.12009
#3 7.178218  0.6095820 13.74685
#4 8.861386 -1.7302209 19.45299
#
#$se.fit
#       1        2        3        4 
#2.048213 1.307343 1.526648 2.461646 
#
#$df
#[1] 2
#
#$residual.scale  ## for `pred2`
#[1] 3.961448
#
#$residual.scale  ## for `pred3`
#[1] 2.50544

你的第二个问题是关于权重的含义。权重用于对异方差响应进行建模，以克服普通最小二乘回归中的杠杆效应。权重与方差倒数成正比：您可以为具有较小预期误差的数据赋予较大的权重。权重可以是非整数，因此它对重复数据没有自然的解释。因此，包中写的内容mgcv并不严格正确。

fit1和之间的真正区别fit2？是自由度。检查上表中的(n - p). n是您拥有的数据数量，而p是非系数数量NA，n - p剩余自由度也是如此。对于这两个模型，我们都有p = 2（截距和斜率），但是对于fit1我们有n = 10while ，对于fit2我们有n = 4。这对推理产生了巨大的影响，因为现在系数和预测的标准误差（因此置信区间）将有所不同。这两个模型远非等同。

summary1$coef
#            Estimate Std. Error  t value   Pr(>|t|)
#(Intercept) 2.128713  1.5643486 1.360766 0.21068210
#xx2         1.683168  0.6232514 2.700625 0.02704784

summary2$coef

#            Estimate Std. Error   t value  Pr(>|t|)
#(Intercept) 2.128713   3.128697 0.6803832 0.5664609
#xx          1.683168   1.246503 1.3503125 0.3094222

pred1

#$fit
#       fit      lwr       upr
#1 3.811881 1.450287  6.173475
#2 5.495050 3.987680  7.002419
#3 7.178218 5.417990  8.938446
#4 8.861386 6.023103 11.699669
#
#$se.fit
#        1         2         3         4 
#1.0241066 0.6536716 0.7633240 1.2308229 
#
#$df    # note, this is `10 - 2 = 8`
#[1] 8
#
#$residual.scale
#[1] 1.980724

pred2

#$fit
#       fit        lwr      upr
#1 3.811881 -5.0008685 12.62463
#2 5.495050 -0.1299942 11.12009
#3 7.178218  0.6095820 13.74685
#4 8.861386 -1.7302209 19.45299
#
#$se.fit
#       1        2        3        4 
#2.048213 1.307343 1.526648 2.461646 
#
#$df    # note, this is `4 - 2 = 2`
#[1] 2
#
#$residual.scale  ## for `pred2`
#[1] 3.961448