Word2Vec有隐藏图层吗？

Question

当我正在阅读Tomas Mikolov的一篇论文时:http://arxiv.org/pdf/1301.3781.pdf

我对"连续词袋模型"部分有一个担忧:

第一个提出的体系结构类似于前馈NNLM,其中去除了非线性隐藏层,并且所有单词(不仅仅是投影矩阵)共享投影层.因此,所有单词都被投射到相同的位置(它们的向量被平均).

我发现有些人提到Word2Vec模型中有一个隐藏层,但根据我的理解,该模型中只有一个投影层.此投影图层是否与隐藏图层完成相同的工作？

另一个问题是如何将输入数据投影到投影层？

"投影层是所有单词(不仅仅是投影矩阵)共享的",这意味着什么？

Answer 1

从原论文第3.1节可以看出，没有隐藏层：

“第一个提出的架构类似于前馈 NNLM，其中去除了非线性隐藏层，所有单词共享投影层”。

关于您的第二个问题（共享投影层意味着什么），这意味着您只考虑一个向量，即上下文中所有单词的向量的质心。因此，n-1您只考虑一个向量，而不是将词向量作为输入。这就是为什么它被称为连续词袋（因为词序在 size 的上下文中丢失n-1）。