使用 NA 为稀疏矩阵和 XGBOOST 准备数据

Question

我有一个由因子变量、数值变量和目标列组成的大型数据集，我正在尝试将其正确输入到 xgboost 中，目的是制作 xgb.Matrix 并训练模型。

我对将数据帧放入 xgb.DMAtrix 对象的正确处理感到困惑。具体来说，我在因子和数值变量中都有 NA，并且我想在创建 xgb.Matrix 之前从我的数据帧创建一个稀疏.model.matrix。NA 的正确处理确实让我很困惑。

我有以下示例数据帧，df由一个二元分类变量、两个连续变量和一个目标组成。分类变量和一个连续变量具有 NA

'data.frame':   10 obs. of  4 variables:
 $ v1    : Factor w/ 2 levels "0","1": 1 2 2 1 NA 2 1 1 NA 2
 $ v2    : num  3.2 5.4 8.3 NA 7.1 8.2 9.4 NA 9.9 4.2
 $ v3    : num  22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2
 $ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1

     v1  v2   v3 target
1     0 3.2 22.1      0
2     1 5.4 44.1      0
3     1 8.3 57.0      1
4     0  NA 64.2      1
5  <NA> 7.1 33.1      0
6     1 8.2 56.9      0
7     0 9.4 71.2      0
8     0  NA 33.9      1
9  <NA> 9.9 89.3      0
10    1 4.2 97.2      0

sparse.model.matrix图书馆matrix不接受 NA。它消除了行（我不想要的）。所以我需要将 NA 更改为数字替换，例如-999

如果我使用简单的命令：

df[is.na(df)] = -999

它仅替换数字列中的 NA：

     v1     v2   v3 target
1     0    3.2 22.1      0
2     1    5.4 44.1      0
3     1    8.3 57.0      1
4     0 -999.0 64.2      1
5  <NA>    7.1 33.1      0
6     1    8.2 56.9      0
7     0    9.4 71.2      0
8     0 -999.0 33.9      1
9  <NA>    9.9 89.3      0
10    1    4.2 97.2      0

所以我首先（认为我）需要将因子变量更改为数字，然后进行替换。这样做我得到：

     v1     v2   v3 target
1     1    3.2 22.1      0
2     2    5.4 44.1      0
3     2    8.3 57.0      1
4     1 -999.0 64.2      1
5  -999    7.1 33.1      0
6     2    8.2 56.9      0
7     1    9.4 71.2      0
8     1 -999.0 33.9      1
9  -999    9.9 89.3      0
10    2    4.2 97.2      0

但是将因子变量转换回因子（我认为这是必要的，因此 xgboost 稍后会知道它是一个因子）我得到三个级别：

data.frame':    10 obs. of  4 variables:
 $ v1    : Factor w/ 3 levels "-999","1","2": 2 3 3 2 1 3 2 2 1 3
 $ v2    : num  3.2 5.4 8.3 -999 7.1 8.2 9.4 -999 9.9 4.2
 $ v3    : num  22.1 44.1 57 64.2 33.1 56.9 71.2 33.9 89.3 97.2
 $ target: Factor w/ 2 levels "0","1": 1 1 2 2 1 1 1 2 1 1

我现在最终不确定制作稀疏.model.matrix 和最终 xgb.matrix 对象是否有意义，因为 v1 看起来很混乱。

为了让事情变得更加混乱，我可以使用xgb.Dmatrix()一个参数missing 来识别代表 NA 的数值（-999）。但这只能用于稠密矩阵。如果我提交了密集矩阵，我就只有 NA 并且不需要它。但是，在我有 -999 的稀疏矩阵中，我无法使用它。

我希望我没有忽略一些简单的事情。广泛浏览了xgboost.pdf并在 Google 上查看。

请帮忙。提前致谢。

Answer 1

options(na.action='na.pass')正如@mtoto 所提到的，这是解决这个问题的最佳方法。它将确保您在构建模型矩阵时不会丢失任何数据。

具体来说是 XGBoost 的实现；如果是 NA，请在生长树时进行分割时检查是否有更高的增益。因此，例如，如果在不考虑 NA 的情况下分割被确定为变量var1的（范围[0,1]）值 0.5，那么它会计算增益，考虑var1NA < 0.5 和 > 0.5。对于任何分裂方向，它都会获得更多增益，因为 NA 具有该分裂方向。因此，NA 现在有一个范围[0,0.5]，[0.5,1]但没有分配给它的实际值（即估算）。参考（原作者tqchen 2014年8月12日评论）。

如果您在那里输入 -99xxx，那么您就会限制算法学习 NA 适当范围（以标签为条件）的能力。