标签: boosting

我想从经过训练的梯度增强分类器（来自 sklearn）生成代码（现在是 Python，但最终是 C）。据我了解，该模型采用初始预测器，然后添加来自顺序训练的回归树的预测（按学习因子缩放）。所选择的类别就是具有最高产出值的类别。

这是我到目前为止的代码：

def recursep_gbm(left, right, threshold, features, node, depth, value, out_name, scale):
    # Functions for spacing
    tabs = lambda n: (' ' * n * 4)[:-1]
    def print_depth():
        if depth: print tabs(depth),
    def print_depth_b():
        if depth: 
            print tabs(depth), 
            if (depth-1): print tabs(depth-1),

    if (threshold[node] != -2):
        print_depth()
        print "if " + features[node] + " <= " + str(threshold[node]) + ":"
        if left[node] != -1:
            recursep_gbm(left, right, threshold, features, left[node], depth+1, value, out_name, scale)
        print_depth()
        print "else:"
        if …

众所周知,Spark中的GBT为您提供了截至目前的预测标签.

我正在考虑尝试计算一个类的预测概率(比如说属于某个叶子的所有实例)

构建GBT的代码

import org.apache.spark.SparkContext
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.tree.GradientBoostedTrees
import org.apache.spark.mllib.tree.configuration.BoostingStrategy
import org.apache.spark.mllib.tree.model.GradientBoostedTreesModel
import org.apache.spark.mllib.util.MLUtils

//Importing the data
val data = sc.textFile("data/mllib/credit_approval_2_attr.csv") //using the credit approval data set from UCI machine learning repository

//Parsing the data
val parsedData = data.map { line =>
    val parts = line.split(',').map(_.toDouble)
    LabeledPoint(parts(0), Vectors.dense(parts.tail))
}

//Splitting the data
val splits = parsedData.randomSplit(Array(0.7, 0.3), seed = 11L)
val training = splits(0).cache() 
val test = splits(1)

// Train a GradientBoostedTrees model.
// The defaultParams for …

在大型数据集（约 1M 行，500 列）上运行 catboost，我得到：训练已停止（迭代 0 时的退化解决方案，可能 l2 正则化太小，尝试增加它）。

我如何猜测 l2 正则化值应该是多少？它与 y 的平均值、变量数量、树深度有关吗？

谢谢！

我有一个非常不平衡的数据集，我需要在此基础上构建一个模型来解决分类问题。该数据集有大约 30000 个样本，其中大约 1000 个样本被标记为\xe2\x80\x941\xe2\x80\x94，其余为 0。我通过以下几行构建模型：

X_train=training_set\ny_train=target_value\nmy_classifier=GradientBoostingClassifier(loss=\'deviance\',learning_rate=0.005)\nmy_model = my_classifier.fit(X_train, y_train)\n

由于这是一个不平衡的数据，因此像上面的代码一样简单地构建模型是不正确的，所以我尝试使用类权重，如下所示：

class_weights = compute_class_weight(\'balanced\',np.unique(y_train), y_train)\n

现在，我不知道如何使用 class_weights（基本上包括 0.5 和 9.10 值）来训练和构建模型GradientBoostingClassifier。

任何想法？我如何使用加权类或其他技术处理这些不平衡的数据？

我想了解 xgboost 中的特征重要性是如何通过“增益”计算的。从https://towardsdatascience.com/be-careful-when-interpreting-your-features-importance-in-xgboost-6e16132588e7：

“增益”是特征为其所在分支带来的准确性的提高。这个想法是在一个特征X上添加一个新的分裂到分支之前有一些错误分类的元素，在这个特征上添加分裂后，有两个新分支，每个分支都更准确（一个分支说如果你的观察是在这个分支上，那么它应该被归类为 1，而另一个分支则正好相反）。

在 scikit-learn 中，特征重要性是通过使用变量分裂后每个节点的基尼杂质/信息增益减少来计算的，即节点的加权杂质平均值 - 左子节点的加权杂质平均值 - 右子节点的加权杂质平均值（参见还有：https : //stats.stackexchange.com/questions/162162/relative-variable-importance-for-boosting）

我想知道 xgboost 是否也使用上述引文中所述的使用信息增益或准确性的方法。我试着挖了xgboost的代码，发现了这个方法（已经把不相关的部分剪掉了）：

def get_score(self, fmap='', importance_type='gain'):
    trees = self.get_dump(fmap, with_stats=True)

    importance_type += '='
    fmap = {}
    gmap = {}
    for tree in trees:
        for line in tree.split('\n'):
            # look for the opening square bracket
            arr = line.split('[')
            # if no opening bracket (leaf node), ignore this line
            if len(arr) == 1:
                continue

            # look for the closing bracket, extract only info …

我正在尝试探索 Xgboost 二进制分类以及多类的工作。在二进制类的情况下，我观​​察到base_score被视为起始概率，并且在计算Gain和Cover时也显示出重大影响。

在多类的情况下，我无法弄清楚base_score参数的重要性，因为它向我显示了不同（任何）base_score值的Gain和Cover的相同值。

我也无法找出为什么在计算多类的覆盖率时存在因子 2，即2*p*(1-p)