微调和少量镜头学习有什么区别？

Question

fine-tuning我正在尝试理解学习的概念few-shot。

我理解微调的必要性。它本质上是将预先训练的模型调整为特定的下游任务。然而，最近我看到了大量的博客文章声称零样本学习、单样本学习和少样本学习。

• 它们与微调有何不同？在我看来，小样本学习是微调的专业化。我在这里缺少什么？

谁能帮帮我吗？

Answer 1

微调 - 当您已经训练了一个模型来执行您想要的任务但在不同的数据集上时，您可以使用预先训练的权重进行初始化，并在目标（通常较小）数据集（通常具有较小的学习率）上对其进行训练。

少量学习 - 当您想要使用很少的样本来训练任何任务的模型时。例如，您有一个在不同但相关的任务上训练的模型，并且您（可选）修改它并使用少量示例训练目标任务。

例如：

微调 - 训练意图分类模型，然后在不同的数据集上对其进行微调。

很少的镜头学习 - 在大型文本数据集上训练语言模型并修改它（通常是最后（少数）层）以通过在小型标记数据集上进行训练来对意图进行分类。

可以有更多的方法来进行少量镜头学习。再举一个例子，训练一个模型来对图像进行分类，其中某些类别的训练样本数量非常少（或 0 表示零镜头，1 表示单镜头）。由此推断，正确分类这些稀有类别（训练中很少见）就成为少样本学习的目标。