为回归模型选择正确的指标

Question

我一直在使用r2 score指标。我知道有几个评估指标，我已经阅读了几篇关于它的文章。因为我还是机器学习的初学者。我仍然很困惑

1. 什么时候使用它，取决于我们的情况，如果是，请举个例子
2. 我读了这篇文章，它说这r2 score并不简单，我们需要其他东西来衡量我们模型的性能。这是否意味着我们需要 1 个以上的评估指标才能更好地了解我们的模型性能？
3. 如果我们只通过一个评估指标来衡量我们的模型性能，是否推荐？
4. 从这篇文章中可以看出，了解我们的数据分布和我们的业务目标有助于我们了解选择合适的指标。这是什么意思？
5. 如何知道每个指标模型是否“足够好”？

Answer 1

对于如下所示的回归问题，有不同的评估指标。

1. 均方误差（MSE）
2. 均方根误差（RMSE）
3. 平均绝对误差（MAE）
4. R² 或决定系数
5. 均方百分比误差 (MSPE)
6. 等等等等..

正如您所提到的，您需要根据您的问题类型、您想要测量的内容和数据的分布来使用它们。

1. 为此，您需要了解这些指标如何评估模型。您可以从这篇不错的博客文章中查看评估指标的定义和优缺点。
2. R²显示您的目的变量的哪些变化是由自变量描述的。一个好的模型可以给出R²接近 1.0 的分数，但这并不意味着它应该是。低的模型也R²可以给出低分MSE。因此，为了确保模型的预测能力，最好使用MSE，RMSE或除R².
3. 不可以。您可以使用多个评估指标。重要的是，如果您比较两个模型，您需要使用相同的测试数据集和相同的评估指标。
4. 例如，如果你想过多地惩罚你的错误预测，你可以使用MSE评估指标，因为它基本上测量了我们预测的平均平方误差，或者如果你的数据有太多的异常值MSE会给这个例子带来太多的惩罚。
5. 好的模型定义会根据您的问题复杂性而变化。例如，如果您训练一个预测正面或反面并给出 %49 准确度的模型，这还不够好，因为此问题的基线是 %50。但是对于任何其他问题，%49 准确度可能足以解决您的问题。因此，总而言之，这取决于您的问题，您需要定义或考虑人类（基线）阈值。