CatBoost 中的多类多标签分类

Question

我需要使用 CatBoost 执行多类多标签分类。

示例数据：

X = [[1, 2, 3, 4], [2, 3, 5, 1], [4, 5, 1, 3]]

y = [[3, 1], [2, 8], [7, 8]]

你能提供一个工作示例吗？

我想我需要用一些 sklearn 分类器包装 CatBoostClassifier。

谢谢！

Answer 1

您是对的，因为这可以使用 sklearn 包装器来完成，特别是 sklearns 实现 one-vs-rest 分类器。该技术为每个类别构建一个分类器，将您的问题视为二元分类问题的组合，每个类别一个。

这是如何运作的？对于给定的类别，标有给定类别的样本构成正样本，所有其他样本都被视为负样本。

当您的课程数量很少时，这是一种可行的方法。然而，当你有大量的类时，内存使用和训练时间就会变得令人望而却步。在这种情况下，假设您拥有大量数据，使用基于神经网络的方法实施解决方案可能会更有效。

这是一个工作示例：

from catboost import CatBoostClassifier
from sklearn.multiclass import OneVsRestClassifier
from sklearn.preprocessing import MultiLabelBinarizer

##Using your example data 

X = [[1, 2, 3, 4], [2, 3, 5, 1], [4, 5, 1, 3]]

y = [[3, 1], [2, 8], [7, 8]]

mlb = MultiLabelBinarizer()
mlb.fit(y)
y_k_hot = mlb.transform(y)

ovr = OneVsRestClassifier(estimator=CatBoostClassifier(iterations=10,random_state=1))
ovr.fit(X,y_k_hot)

ovr.predict(X)*mlb.classes_

array([[1, 0, 3, 0, 0],
       [0, 2, 0, 0, 8],
       [0, 0, 0, 7, 8]])