使用在维基百科上预先训练的Word2Vec模型

Question

我需要使用gensim来获取单词的向量表示,并且我认为使用的最好的东西是在英语维基百科语料库上预训练的word2vec模块.有谁知道在哪里下载,如何安装,以及如何使用gensim创建向量？

Answer 1

您可以检查WebVectors以查找在各种语料库上训练的Word2Vec模型.模型附带自述文件,涵盖培训细节.不过,你必须要小心使用这些模型.我不确定所有这些,但至少在维基百科的情况下,该模型不是一个二进制文件,您可以使用例如gensim的功能直接加载,但是一个txt版本,即带有单词和相应向量的文件.请记住,虽然,这四个字是由他们的部分的语音(POS)标签附加,因此,例如,如果你想使用该模型找出字相似vacation,你会得到一个KeyError,如果你因为模型将这个单词存储为,所以按原样输入假期vacation_NOUN.关于如何使用wiki模型的示例片段(如果它们的格式相同,可能还有其他模型)和输出如下

import gensim.models

model = "./WebVectors/3/enwiki_5_ner.txt"

word_vectors = gensim.models.KeyedVectors.load_word2vec_format(model, binary=False)
print(word_vectors.most_similar("vacation_NOUN"))
print(word_vectors.most_similar(positive=['woman_NOUN', 'king_NOUN'], negative=['man_NOUN']))

和输出

? python3 wiki_model.py
[('vacation_VERB', 0.6829521656036377), ('honeymoon_NOUN', 0.6811978816986084), ('holiday_NOUN', 0.6588436365127563), ('vacationer_NOUN', 0.6212040781974792), ('resort_NOUN', 0.5720850825309753), ('trip_NOUN', 0.5585346817970276), ('holiday_VERB', 0.5482848882675171), ('week-end_NOUN', 0.5174300670623779), ('newlywed_NOUN', 0.5146450996398926), ('honeymoon_VERB', 0.5135983228683472)]
[('monarch_NOUN', 0.6679952144622803), ('ruler_NOUN', 0.6257176995277405), ('regnant_NOUN', 0.6217397451400757), ('royal_ADJ', 0.6212111115455627), ('princess_NOUN', 0.6133661866188049), ('queen_NOUN', 0.6015778183937073), ('kingship_NOUN', 0.5986001491546631), ('prince_NOUN', 0.5900266170501709), ('royal_NOUN', 0.5886058807373047), ('throne_NOUN', 0.5855424404144287)]

更新 以下是二进制模型的一些有用链接:

预训练的单词嵌入模型:

Fasttext模型:

• crawl-300d-2M.vec.zip:在共同爬网(600B令牌)上训练的200万个单词向量.
• wiki-news-300d-1M.vec.zip:在维基百科2017,UMBC webbase语料库和statmt.org新闻数据集(16B令牌)上培训了100万个单词向量.
• wiki-news-300d-1M-subword.vec.zip:在维基百科2017,UMBC webbase语料库和statmt.org新闻数据集(16B令牌)上使用子词信息训练的100万个单词向量.
• 维基词向量,dim = 300:wiki.en.zip:bin + text model

谷歌Word2Vec

• 预训练的单词/短语向量:
  • 了Googlenews向量-negative300.bin.gz
  • GoogleNews-vectors-negative300-SLIM.bin.gz:应用程序的超薄版本.300k字
• 预训练实体向量:
  • freebase-vectors-skipgram1000.bin.gz:从各种新闻文章中训练100B单词的实体向量
  • freebase-vectors-skipgram1000-en.bin.gz:使用弃用/ en /命名(更容易阅读),从各种新闻文章中训练100B单词的实体向量; 矢量按频率排序

GloVe:Word表示的全局向量

• 手套.B.zip:维基百科2014 + Gigaword 5(6B令牌,400K词汇,无基,50d,100d,200d和300d载体,822MB下载).这是一个实例.
• glove.840B.300d.zip:Common Crawl(840B令牌,2.2M词汇,套装,300d向量,2.03 GB下载)

WebVectors

• 在各种语料库上训练的模型,通过词性(POS)标签进行增强

Answer 2

@imanzabet 提供了与预训练向量的有用链接，但如果您想使用 genism 自己训练模型，则需要做两件事：

1. 获取维基百科数据，您可以在此处访问。貌似英文维基百科的最新快照是20号的，可以在这里找到。我相信其他英语“wiki”（例如引号）是单独捕获的，因此如果您想包含它们，您也需要下载它们。

2. 加载数据并使用它来生成模型。这是一个相当广泛的问题，所以我将把您链接到优秀的genism 文档和word2vec 教程。

最后，我要指出的是，似乎有一篇博客文章准确地描述了您的用例。