仅使用T5型号的编码器部分

Question

我想建立一个只需要语言模型的编码器部分的分类模型。我尝试过Bert、Roberta、xlnet，到目前为止我都成功了。

\n

我现在只想从 T5 测试编码器部分，到目前为止，我找到了 encT5 https://github.com/monologg/EncT5

\n

以及 HuggingFace 的 T5EncoderModel。

\n

谁能帮助我了解 T5EncoderModel 是否是我正在寻找的？

\n

它在描述中说：裸露的 T5 模型变压器输出编码器\xe2\x80\x99s 原始隐藏状态，顶部没有任何特定的头。

\n

这让我有点困惑，特别是 encT5 提到他们实现了编码器部分只是因为它不存在于 HuggingFace 中，这让我更加怀疑。

\n

请注意，我是深度学习的初学者，所以请对我放轻松，我知道任何问题对你们大多数人来说都可能很幼稚。

\n

谢谢

\n

Answer 1

仅加载 T5 编码器检查点：

from transformers import T5EncoderModel
T5EncoderModel._keys_to_ignore_on_load_unexpected = ["decoder.*"]
auto_model = T5EncoderModel.from_pretrained("t5-base")

请注意，T5 没有 CLS 令牌，因此您应该为分类任务使用其他策略（均值池等）