如何评估基于内容的推荐系统

use*_*223 13 recommendation-engine

我正在构建一个基于内容的电影推荐系统.这很简单,只需让用户输入电影标题,系统就会找到一部具有最相似功能的电影.

在计算相似度并按降序对分数进行排序后,我找到相应的5个最高相似度得分的电影并返回给用户.

到目前为止,当我想评估系统的准确性时,一切运作良好.我在Google上找到的一些公式只是根据评级值评估准确性(比较预测评级和实际评级,如RMSE).我没有将相似性得分改为评级(从1到5的比例),所以我不能应用任何公式.

您能否建议将相似度得分转换为预测评级,以便我可以应用RMSE?或者有什么想法解决这个问题?

小智 12

你有任何基本事实吗?例如,您是否有关于用户过去喜欢/看过/购买的电影的信息?它不一定是评级,但为了评估建议,您需要了解有关用户偏好的一些信息.

如果您这样做,那么除了RMSE之外,还有其他方法可以衡量准确度.当我们预测评级时使用RMSE(正如您所说的那样是实际评级和预测之间的误差),但在您的情况下,您正在生成前N个建议.在这种情况下,您可以使用精确度和召回来评估您的建议.它们非常适用于信息检索应用程序(参见维基百科),它们在推荐系统中也很常见.您还可以计算F1指标,它是精度和召回的调和平均值.你会发现它们是非常简单的公式,并且很容易实现.

Guy Shani撰写的"评估推荐系统"是一篇关于如何评估推荐系统的非常好的论文,并将为您提供一个很好的洞察力.你可以在这里找到论文.