Rod*_*rez 1 python nlp language-model tensorflow
我正在使用BERT对某个单词的特征进行提取，因为该单词出现在文本中，但是看来bert的官方github（https://github.com/google-research/bert）中的当前实现只能计算所有单词的特征在文本中，这会占用太多资源。是否有可能对此目的进行调整？谢谢！！
BERT不是上下文无关的转换器，这意味着您不想像word2vec那样将其用于单个单词。的确很重要-您想将您的输入内容化。我的意思是您可以输入一个单词的句子，但是为什么不只使用word2vec。
这是自述文件的内容：
预训练表示也可以是无上下文或上下文的，并且上下文表示可以进一步是单向或双向的。诸如word2vec或GloVe之类的上下文无关模型会为词汇表中的每个单词生成单个“单词嵌入”表示，因此银行在银行存款和河岸中的表示将相同。上下文模型会根据句子中的其他单词生成每个单词的表示形式。
希望有道理:-)
| 归档时间： |
|
| 查看次数： |
609 次 |
| 最近记录： |