继续训练 FastText 模型

Question

我已经下载了一个.binFastText 模型，并按gensim如下方式使用它：

model = FastText.load_fasttext_format("cc.fr.300.bin")

我想继续训练模型以使其适应我的领域。经过检查FastText的Github上和Gensim文档看起来它是不是利用这个人的提议目前可行的APPART修改（尚未合并）。

我错过了什么吗？

Answer 1

您可以在某些版本的 Gensim 中继续训练fastText（例如，v.3.7.*）。这是“加载、推断、继续训练”的示例

from gensim.test.utils import datapath
model = load_facebook_model(datapath("crime-and-punishment.bin"))
sent = [['lord', 'of', 'the', 'rings'], ['lord', 'of', 'the', 'semi-groups']]
model.build_vocab(sent, update=True)
model.train(sentences=sent, total_examples = len(sent), epochs=5)

出于某种原因，gensim.models.fasttext.load_facebook_model()Windows 上缺少 ，但在 Mac 的安装中存在。或者，可以使用gensim.models.FastText.load_fasttext_format()加载预训练模型并继续训练。

这里有各种预训练的 Wiki 词模型和向量（或这里）。

另一个例子。"注意：与 Word2Vec 的情况一样，您可以在使用 Gensim 的 fastText 本地实现的同时继续训练您的模型。 "