我很好奇使用 GPT-2 是否可以为文档向量（长度变化很大）带来更高的准确性（它会超越现有技术吗？）
事实上，我最感兴趣的是尽可能准确的文档嵌入。我想知道使用 GPT-2 是否会得到比段落向量更准确的结果。
我听说为了从 GPT-2 获取向量“你可以在其隐藏层（通常是最后几个隐藏层）使用向量输出的加权和和/或串联作为其相应单词甚至“含义”的表示整个文本的内容，尽管对于这个角色，BERT 使用得更频繁，因为它是双向的，并且考虑了前向和后向上下文。”
作为一名机器学习和 NLP 初学者，我很想知道如何进行此操作，或者希望获得正确的方向以了解有关如何在 Python 中尝试此操作的更多信息。
我之前尝试过微调 GPT-2，但我不知道如何从中提取文本向量。