小编ear*_*dil的帖子

在word2vec gensim模型中添加单词嵌入

我正在寻找一种方法来将预训练的单词向量添加到word2vec gensim模型中.

我在txt(单词及其嵌入)中有一个预先训练过的word2vec模型,我需要在特定语料库和新文档中的文档之间获取Word Mover的距离(例如通过gensim.models.Word2Vec.wmdistance).

为了防止需要加载整个词汇表,我想只加载在语料库中找到的预训练模型的单词的子集.但是,如果新文档具有在语料库中找不到但在原始模型中的词汇,则将它们添加到模型中,以便在计算中考虑它们.

我想要的是节省内存,所以有可能帮助我的事情:

  • 有没有办法将单词向量直接添加到模型中?
  • 有没有办法从矩阵或其他对象加载到gensim?我可以在RAM中使用该对象,并在将它们加载到模型中之前将其添加到新单词中
  • 我不需要它在gensim上,所以如果你知道一个不同的WMD实现,它将向量作为输入可以工作(虽然我确实需要它在Python中)

提前致谢.

python nlp word2vec

5
推荐指数
1
解决办法
896
查看次数

标签 统计

nlp ×1

python ×1

word2vec ×1