小编ls_*_*rep的帖子

我想建立一个只需要语言模型的编码器部分的分类模型。我尝试过Bert、Roberta、xlnet，到目前为止我都成功了。

我现在只想从 T5 测试编码器部分，到目前为止，我找到了 encT5 https://github.com/monologg/EncT5

以及 HuggingFace 的 T5EncoderModel。

谁能帮助我了解 T5EncoderModel 是否是我正在寻找的？

它在描述中说：裸露的 T5 模型变压器输出编码器\xe2\x80\x99s 原始隐藏状态，顶部没有任何特定的头。

这让我有点困惑，特别是 encT5 提到他们实现了编码器部分只是因为它不存在于 HuggingFace 中，这让我更加怀疑。

请注意，我是深度学习的初学者，所以请对我放轻松，我知道任何问题对你们大多数人来说都可能很幼稚。

谢谢