我们可以使用 GPT-2 句子嵌入来执行分类任务吗？

Question

我正在尝试在句子分类任务中使用变压器嵌入，而不对其进行微调。我使用过 BERT 嵌入，这些实验给了我非常好的结果。现在我想使用 GPT-2 嵌入（无需微调）。所以我有两个问题，

1. 我可以像这样使用 GPT-2 嵌入吗（因为我知道 Gpt-2 是从左到右训练的）
2. 除了生成任务之外，GPT-2 在分类任务中是否有任何使用示例？
3. 如果我可以使用 GPT-2embeddings，我应该怎么做？

Answer 1

我基本上解决了问题。这里我使用了从 GPT-2 中提取的嵌入。

1. 所以是的，我们可以使用 GPT-2 嵌入序列的最终标记作为类标记。由于从左到右的自注意​​力机制，最终的token可以表示顺序信息。

2. 请检查以下 GitHub 问题，了解使用 GPT-2 嵌入的实现。github问题

3. 我进行了实验来比较 GPT-2 嵌入和 RoBERTa 嵌入。我仅使用 RoBERTa 嵌入而不是 GPT-2 获得了更好的结果。