XGBoost分类变量:Dummification与编码

Question

使用时XGBoost我们需要将分类变量转换为数字.

以下方法之间的绩效/评估指标是否会有任何差异:

1. 使您的分类变量变得模糊
2. 将您的分类变量编码为例如(a,b,c)到(1,2,3)

也:

是否有任何理由不使用例如方法2 labelencoder？

Answer 1

xgboost 仅处理数字列.

如果你有一个[a,b,b,c]描述分类变量的功能(即没有数字关系)

使用LabelEncoder你只需要:

array([0, 1, 1, 2])

Xgboost 将错误地将此功能解释为具有数字关系! 这只是将每个字符串映射('a','b','c')到一个整数,仅此而已.

合适的方式

使用OneHotEncoder,您最终会得到:

array([[ 1.,  0.,  0.],
       [ 0.,  1.,  0.],
       [ 0.,  1.,  0.],
       [ 0.,  0.,  1.]])

这是适用于xgboost任何其他机器学习工具的分类变量的正确表示.

Pandas get_dummies是一个很好的工具,用于创建虚拟变量(在我看来,它更容易使用).

上述问题中的方法#2不能正确表示数据

Answer 2

我不仅想从 XGBoost 的角度回答这个问题，还想从处理分类数据的任何问题的角度回答这个问题。虽然“虚拟化”创建了一个非常稀疏的设置，特别是如果您有多个不同级别的分类列，标签编码通常是有偏差的，因为数学表示不能反映级别之间的关系。

对于二元分类问题，在传统信用评分模型中高度利用的一种天才但尚未探索的方法是使用证据权重来代替分类级别。基本上每个分类级别都被商品的比例/不良品的比例所取代。

可以在这里阅读更多相关信息。

Python 库在这里。

此方法允许您捕获一列下的“级别”，并避免通过虚拟化或编码会出现的稀疏或引入偏差。

希望这可以帮助 ！

Answer 3

2020 年 11 月 23 日

\n

XGBoost 从 1.3.0 版本开始增加了对分类特征的实验性支持。来自文档：

\n

\n

1.8.7 分类数据

\n

除了执行编码的用户之外，XGBoost 还对使用gpu_hist和gpu_predictor的分类数据提供实验性支持。无需对输入测试数据执行特殊操作，因为有关类别的信息在训练期间已编码到模型中。

\n

\n

https://buildmedia.readthedocs.org/media/pdf/xgboost/latest/xgboost.pdf

\n

在 DMatrix 部分，文档还说：

\n

\n

enable_categorical（布尔值，可选）\xe2\x80\x93 版本 1.3.0 中的新增功能。

\n

专门针对分类特征的实验支持。除非您对开发感兴趣，否则不要设置为 True。目前它\xe2\x80\x99s\仅适用于具有1与其余（一个热）\n分类分割的gpu_hist树方法。此外，还需要 JSON 序列化格式、gpu_predictor 和\npandas 输入。

\n

\n