了解为什么线性回归没有按预期处理我的分类变量？

Question

我正在阅读有关公式和线性回归的内容，但无法理解如何解释lm具有多个参数和分类变量的线性回归的输出。

我想我明白如何解释一个简单的 y = a + bx 公式的输出（如果我在下面说的是错误的，请纠正我）。

#library(tidyverse)
#library(modelr)
require(ggplot2)
require(dplyr)

diamonds2 <- diamonds %>%
  mutate(lprice = log2(price), lcarat = log2(carat))

mod <- lm(
  lprice ~ lcarat,
  data = diamonds2
)

#diamonds2 %>% modelr::add_predictions(mod, "pred_price")
diamonds2$pred_price <- predict(mod, diamonds2) # if you don't have modelr

模型 ( mod) 是

Call:
lm(formula = lprice ~ lcarat, data = diamonds2)

Coefficients:
(Intercept)       lcarat  
     12.189        1.676  

据我了解，这意味着当我添加预测时，生成预测的公式是

pred_price = 12.189 + (1.676 * lcarat)

当我向公式中添加分类变量时，我感到困惑

diamonds2 <- diamonds %>%
  mutate(lprice = log2(price), lcarat = log2(carat))

mod <- lm(
  lprice ~ lcarat + cut,   # I added a categorical variable here
  data = diamonds2
)

diamonds2 %>%
  add_predictions(mod, "pred_price")

现在模型是

Call:
lm(formula = lprice ~ lcarat + cut, data = diamonds2)

Coefficients:
(Intercept)       lcarat        cut.L        cut.Q        cut.C        cut^4  
   12.10711      1.69577      0.32364     -0.09583      0.07631      0.02688  

我对一些事情感到困惑。

1)diamonds$cut有五个可能的值（一般、好、非常好、优质、理想），那么为什么模型只显示了四个切工值？

2) 根据我的理解，R 将线性回归方程中的分类变量视为 1 或 0，因此在评估数据行时，每个“切割”系数将乘以 1 或 0。那是对的吗？

3）我如何y = a_0 + (a_1 * x_1) + (a_2 * x_2)...从上面给出的系数中写出a ？在这种情况下可能吗？

Answer 1

1) lm 做了一些不需要的事情，它将diamonds$cut 变量视为有序分类而不是分类（即没有使用通常的 1/0 虚拟变量对比处理）。

最初我认为您只需要lm通过编写lm(formula = lprice ~ lcarat + factor(cut))或修复 dataframe来确保获得分类diamonds2$cut <- factor(diamonds2$cut)。

您希望看到分类的对比度级别cut。（5 级分类将提供 4 个对比（和一个截距）；请参阅帮助文档（对比）。但是，您没有从 lm 获得对比度级别，而是获得了多项式系数。

深入研究为什么会发生这种情况，我们注意到它str(cut)告诉我们cut是一个有序的分类（这是罪魁祸首）：

> str(diamonds$cut)
 Ord.factor w/ 5 levels "Fair"<"Good"<..: 5 4 2 4 2 3 3 3 1 3 ...

进一步深入了解 lm 这样做的原因，我查看了 的页面help(contrast), help(lm) and help(model.matrix.default)，这使我想到options('contrasts')：

> getOption('contrasts')
        unordered           ordered 
"contr.treatment"      "contr.poly" 

这意味着 lm 在有序分类（如 diamonds$cut）上生成对比的默认行为是不需要的contr.poly(). 所以要么更改默认值，要么转换cut为无序分类，要么新建一个 vardiamonds$cut <- factor(diamonds$cut, ordered=F) 两种解决方案的代码都在底部。

2) 不，如果您将 diamonds$cut 作为分类传递，则会发生这种情况。但是，您得到cut.L, .Q, .C, ^4...了 cut 值中（不需要的）多项式的线性、二次、三次、四次系数，这些系数试图拟合 lcarat 的观察值（请参阅有关contrasts调用contr.poly和使用 n=4 级别的帮助）。那不是你想要的。

另一个说明是这些级别应该被命名 cut.Fair, cut.Good, cut.Very_Good, cut.Premium, cut.Ideal（好吧，你会得到这 5 个中的 4 个；另一个将被删除）。

3）一旦你修复它以将切割视为（无序）因子，你应该得到： lprice = coeff.price * lcarat + coeff.Fair * cut.Fair + coeff.Good * cut.Good + ... + coeff.Ideal * cut.Ideal

FIX/WORKAROUND 1:

# Save the old ordered-categorical, then clobber it with the unordered one so that lm() Does The Right Thing (tm)
diamonds$cut.ordered <- diamonds$cut
diamonds$cut <- factor(diamonds$cut, ordered=F)

OR ELSE FIX 2:
# Make lm treat all categoricals as unordered categoricals, even ordered ones
#options('contrasts' = c('contr.treatment','contr.treatment') )

lm(log(price) ~ log(carat) + cut, data=diamonds)

Coefficients:
 (Intercept)    log(carat)       cutGood  cutVery Good    cutPremium  
      8.2001        1.6958        0.1632        0.2408        0.2382  
    cutIdeal  
      0.3172