当我们可以分类时，为什么我们要使用度量学习

Question

到目前为止，我已经阅读了一些被高度引用的度量学习论文。此类论文的总体思想是学习一种映射，使得具有相同标签的映射数据点彼此靠近并且远离其他类的样本。为了评估此类技术，他们报告了 KNN 分类器对生成的嵌入的准确性。所以我的问题是，如果我们有一个标记数据集并且我们有兴趣提高分类任务的准确性，为什么我们不在原始数据点上学习分类器。我的意思是，我们可以学习适合（未嵌入）数据点的分类器，而不是寻找适合 KNN 分类器的新嵌入。根据我到目前为止所读到的内容，此类分类器的分类准确性比度量学习方法要好得多。是否有一项研究表明，至少在某些数据集上，度量学习+KNN 的性能优于拟合（好的）分类器？

Answer 1

度量学习模型可以是分类器。所以我将回答为什么我们需要度量学习来进行分类的问题。

让我举一个例子。当你有一个包含数百万个类的数据集，而某些类只有有限的示例，比方说少于 5 个。如果你使用 SVM 或普通 CNN 等分类器，你会发现无法训练，因为这些分类器（判别模型）将完全无法训练。忽略少数示例的类。

但对于度量学习模型来说，这不是问题，因为它们基于生成模型。

顺便说一句，大量的类别对于判别模型本身来说是一个挑战。

现实生活中的挑战激励我们探索更多更好的模型。