如何通过h2o.performance了解H2OModelMetrics对象的指标

Question

使用后创建模型后h2o.randomForest,使用:

perf <- h2o.performance(model, test)
print(perf)

我得到以下信息(价值H2OModelMetrics对象)

H2OBinomialMetrics: drf

MSE:  0.1353948
RMSE:  0.3679604
LogLoss:  0.4639761
Mean Per-Class Error:  0.3733908
AUC:  0.6681437
Gini:  0.3362873

Confusion Matrix (vertical: actual; across: predicted) 
for F1-optimal threshold:
          0    1    Error        Rate
0      2109 1008 0.323388  =1008/3117
1       257  350 0.423394    =257/607
Totals 2366 1358 0.339689  =1265/3724

Maximum Metrics: Maximum metrics at their respective thresholds
                        metric threshold    value idx
1                       max f1  0.080124 0.356234 248
2                       max f2  0.038274 0.515566 330
3                 max f0point5  0.173215 0.330006 131
4                 max accuracy  0.288168 0.839957  64
5                max precision  0.941437 1.000000   0
6                   max recall  0.002550 1.000000 397
7              max specificity  0.941437 1.000000   0
8             max absolute_mcc  0.113838 0.201161 195
9   max min_per_class_accuracy  0.071985 0.621087 262
10 max mean_per_class_accuracy  0.078341 0.626921 251

Gains/Lift Table: Extract with `h2o.gainsLift(<model>, <data>)` 
or `h2o.gainsLift(<model>, valid=<T/F>, xval=<T/F>)`

我用来比较我的预测模型的质量的灵敏度(召回)和特异性,但是根据提供的信息,我无法理解这些指标.根据以上信息,我如何评估预测的质量？

如果我使用混淆矩阵计算这样的指标,我得到:sens=0.58,spec=0.68这与提供的信息不同.

如果有任何方法可以获得像我们confusionMatrix从caret包中使用的那样的值？

对我来说,这个指标更直观:

比logLoss公制.

Answer 1

h2o中的二项分类模型p将预测的概率()返回为"1"(并且它们也冗余地告诉您它为"0"的概率,即1-p).

要使用此模型,您必须确定截止值.例如,你可以将它拆分为中间,如果p > 0.5是"1",那么它是"1",否则它是"0".但是您可以选择其他值,您在此报告中看到的是不同截止值下的模型质量:这就是您在"阈值"列中看到的内容.极端值(记住,基于test你给出的数据)是这两个:

5                max precision  0.941437 1.000000   0
6                   max recall  0.002550 1.000000 397

即如果您将截止值指定为0.94,则它具有完美的精度,如果您将截止值指定为0.00255,则它具有完美的调用.

它显示的默认混淆矩阵使用此行:

3                 max f0point5  0.173215 0.330006 131

(这个问题的答案可以更详细地解释该指标.)

就个人而言,我发现最准确的最直观:

4                 max accuracy  0.288168 0.839957  64

即最大精度意味着具有最低误差的阈值.

无论您决定哪种指标最合适,您仍然需要为实际看不见的数据确定阈值.一种方法是根据您的测试数据使用表中的阈值(因此,如果我认为最大准确度最重要,我会在我的实时应用程序中使用0.288的阈值.)但我发现平均阈值来自测试数据和来自列车数据的结果更加可靠.

PS抵抗了一段时间之后,我成了一名日志迷的粉丝.我发现调整为最佳logloss的模型(而不是调整以获得最佳回忆,最佳精度,最佳精度,最低MSE等等)在转变为实际应用时往往更加强大.