ROC曲线交叉验证

use*_*593 3 pattern-recognition machine-learning image-processing computer-vision

如何为交叉验证生成ROC曲线?

对于单个测试,我认为我应该对SVM的分类分数进行阈值以生成ROC曲线.

但我不清楚如何生成交叉验证?

Bac*_*lin 5

经过一轮完整的交叉验证后,所有观察结果都被分类一次(尽管通过不同的模型)并且已经给出了归属于感兴趣类别的估计概率,或类似的统计量.这些概率可用于以与在外部测试集上获得的概率完全相同的方式生成ROC曲线.只需计算分类错误率,因为您将分类阈值从0更改为1,并且您已全部设置.

但是,通常您希望执行多轮交叉验证,因为性能会根据折叠的划分方式而有所不同.对我来说,如何计算所有轮次的平均ROC曲线并不明显.我建议将它们全部绘制并计算平均AUC.