大语言模型的指令调优和普通微调有什么区别?
另外,我所指的指令调整不是上下文/提示的指令调整。
最近所有关于微调的论文似乎都是关于指令调优的。
我看过几篇关于微调/指令调优(例如 FLAN)的论文,但没有一篇真正描述指令调优和替代方案(无论替代方案是什么)之间的区别。
我理解指令调整是微调的一种形式,但带有指令数据集。但所有数据集都不是指令数据集吗?还有哪些种类呢?
language-model large-language-model fine-tuning
fine-tuning ×1
language-model ×1
large-language-model ×1