nir*_*nrk 9 classification machine-learning vowpalwabbit
无论如何在Vowpal Wabbit中计算AUC？
我使用Vowpal Wabbit的原因之一是数据文件的大小.我可以使用Vowpal Wabbit的输出计算Vowpal Wabbit环境之外的AUC,但如果数据文件很大,这可能会有问题.
Mar*_*pel 15
目前,大众无法报告AUC.更糟糕的是,它无法直接针对AUC进行优化.对AUC的优化与在线学习不兼容,但是有一些近似的AUC适合于优化.
关于您的问题,您不需要将具有原始预测的中间文件存储在磁盘上.您可以将其直接传递给外部评估工具(在本例中为perf):
vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin
编辑:约翰兰福德证实,通常可以通过改变假阳性和假阴性损失的比率来优化AUC.在大众,这意味着为正面和负面的例子设置不同的重要性权重.您需要使用保持集(或交叉验证或一次通过学习的渐进式验证丢失)来调整最佳权重.
| 归档时间： |
|
| 查看次数： |
2199 次 |
| 最近记录： |