gensim 词嵌入（Word2Vec 和 FastText）模型中的 alpha 值？

Question

我只想知道 alpha 的值在 gensimword2vec和fasttextword-embedding 模型中的作用？我知道 alpha 是initial learning rate，它的默认值是0.075表单 Radim 博客。

如果我将其更改为更高的值，即 0.5 或 0.75 会怎样？它的作用会是什么？是否允许更改相同？但是，我已将其更改为 0.5 并在 D = 200、window = 15、min_count = 5、iter = 10、workers = 4 的大型数据上进行实验，结果对于 word2vec 模型非常有意义。然而，使用 fasttext 模型，结果有点分散，意味着相关性较低和不可预测的高低相似性分数。

为什么对于具有不同精度的两种流行模型，相同数据的结果不精确？的值alpha在模型构建过程中是否起着如此重要的作用？

任何建议表示赞赏。

Answer 1

默认开始alpha是0.025在 gensim 的 Word2Vec 实现中。

在用于调整模型的随机梯度下降算法中，有效alpha影响在评估每个训练示例后对模型进行校正的强度，并将从其起始值线性衰减（alpha），以一个微小的最终值（min_alpha在）所有培训课程。

大多数用户不需要调整这些参数，或者可能只需要稍微调整一下，在他们有一种可靠的可重复的方式来评估更改是否可以改善他们的最终任务模型之后。（我见过0.05或 的起始值不太常见0.1，但从未像您报告的那样高0.5。）