除了混淆矩阵之外,还有哪些其他形式的评估？

Question

家庭作业

除了混淆矩阵之外,我还需要另一种形式的评估来可视化算法的性能.

Answer 1

精确率与召回率曲线也很好（也在这里）。

如果它类似于回归，许多统计人员建议将其绘制为数据之上的拟合曲线，或者如果是高维的，则可能是拟合曲线的许多不同的二维投影。还建议对置信区间和事物进行加权，使它们比图的其他部分显示得更暗，根据事物的可能性来视觉上减轻事物的权重。这是安德鲁·格尔曼 (Andrew Gelman) 最近发表的一篇关于此问题的文章：（链接）

如果您正在制作生成模型，例如计算贝叶斯后验分布，那么后验预测检查是一个不错的选择。如果您正在进行回归，请不要低估总结系数和值的表格的价值R^{2}。

如果您的数据自然适合某个域的顶部，例如 xy 平面的一部分，或者您有美国每个州的数据等，那么尝试将数据覆盖在域之上总是好的。制作一个显示数据分布的图（例如直方图，但如果它是问题域中某些具有视觉意义的部分之上的密度，通常会更好），然后使用算法的输出复制相同的精确图。从视觉上看，数据分布和算法输出之间的严重差异将引起人们对算法无法得出正确推理的地方的注意。

这确实是关键。目标是有效的推理，而不是达到相对较低数量的分类错误等。如果您得到了很好的分类错误，但您的方法过度拟合，它可能会出现在其中一些类型的图中。