小编Ile*_*Ile的帖子

如何获得 RoBERTa 词嵌入?

给定一个“Roberta 是 BERT 的高度优化版本”类型的句子,我需要使用 RoBERTa 获取该句子中每个单词的嵌入。我试图在网上查看示例代码,但未能找到明确的答案。

我的看法如下:

tokens = roberta.encode(headline)
all_layers = roberta.extract_features(tokens, return_all_hiddens=True)
embedding = all_layers[0]
n = embedding.size()[1] - 1
embedding = embedding[:,1:n,:]
Run Code Online (Sandbox Code Playgroud)

whereembedding[:,1:n,:]用于仅提取句子中单词的嵌入,不包含开始和结束标记。

这是对的吗?

encoding nlp word-embedding

6
推荐指数
1
解决办法
4115
查看次数

标签 统计

encoding ×1

nlp ×1

word-embedding ×1