我想使用最先进的 LM T5 来获取句子嵌入向量。我找到了这个存储库https://github.com/UKPLab/sentence-transformers 据我所知，在 BERT 中我应该将第一个标记作为 [CLS] 标记，它将是句子嵌入。在此存储库中，我在 T5 模型上看到相同的行为：
cls_tokens = output_tokens[:, 0, :] # CLS token is first token
这种行为正确吗？我从 T5 中获取了编码器并用它编码了两个短语：
"I live in the kindergarden"
"Yes, I live in the kindergarden"
它们之间的余弦相似度仅为“0.2420”。
我只需要了解句子嵌入是如何工作的——我应该训练网络来寻找相似性以获得正确的结果吗？或者我的基础预训练语言模型就足够了？