解释Graphviz输出以进行决策树回归

Question

我很好奇valueGraphviz用于回归时决策树的节点中的字段是什么.我知道这是使用决策树分类时每个类中由分割分隔的样本数,但我不确定它对回归意味着什么.

我的数据有2维输入和10维输出.以下是我的回归问题树的示例:

使用此代码生成并使用webgraphviz进行可视化

# X = (n x 2)  Y = (n x 10)  X_test = (m x 2)

input_scaler = pickle.load(open("../input_scaler.sav","rb"))
reg = DecisionTreeRegressor(criterion = 'mse', max_depth = 2)
reg.fit(X,Y)
pred = reg.predict(X_test)
with open("classifier.txt", "w") as f:
    f = tree.export_graphviz(reg, out_file=f)

谢谢!

Answer 1

回归树实际上作为输出返回的是训练样本的因变量(此处为Y)的平均值,其最终在各个终端节点(叶子)中; 这些平均值显示为value图片中列出的列表,这里的长度均为10,因为您的Y是10维的.

换句话说,并使用树的最左端节点(叶)作为示例:

• 叶子由42个样品组成,其中X[0] <= 0.675和X[1] <= 0.5
• 这些42个样本的10维输出的平均值在value该假期的列表中给出,其确实长度为10,即平均值Y[0]为-152007.382,平均值Y[1]为-206040.675等,平均值Y[9]为3211.487.

您可以通过预测一些样本(来自您的训练或测试集 - 无关紧要)并检查您的10维结果是value上面的终端中描述的4个列表之一来确认这种情况.

此外,您可以确认,对于每个元素value,子节点的加权平均值等于父节点的相应元素.再次,使用最左边2个终端节点(叶子)的第一个元素,我们得到:

(-42*152007.382 - 56*199028.147)/98
# -178876.39057142858

即value[0]其父节点的元素(中间级别中最左边的节点).再举一个例子,这次value是2个中间节点的第一个元素:

(-98*178876.391 + 42*417378.245)/140
# -0.00020000000617333822

这再次与您的根节点的-0.0第一个value元素一致.

从value您的根节点列表判断,您的10维Y的所有元素的平均值几乎为零,您可以(并且应该)手动验证,作为最终确认.

所以,总结一下:

• value每个节点的列表包含"属于"相应节点的训练样本的平均Y值
• 另外,对于终端节点(叶子),这些列表是树模型的实际输出(即输出将始终是这些列表中的一个,具体取决于X)
• 对于根节点,value列表包含整个训练数据集的平均Y值