word2vec - 什么是最好的？添加,连接或平均单词向量？

Question

我正在研究一种复发语言模型.要学习可用于初始化我的语言模型的单词嵌入,我使用的是gensim的word2vec模型.训练之后,word2vec模型为词汇表中的每个单词保存两个向量:单词嵌入(输入/隐藏矩阵的行)和上下文嵌入(隐藏/输出矩阵的列).

作为概括这个帖子有这两个嵌入矢量组合至少三种常用的方法:

1. 总结每个单词的上下文和单词向量
2. 求和和求平均值
3. 连接上下文和单词向量

但是,我找不到关于最佳策略的适当论文或报告.所以我的问题是:

1. 是否对向量求和,平均或连接有共同的解决方案吗？
2. 或者最好的方法完全取决于相关任务？如果是这样,什么策略最适合单词级语言模型？
3. 为什么要结合载体？为什么不对每个单词使用"原始"单词嵌入,即包含在输入和隐藏神经元之间的权重矩阵中的单词嵌入.

相关(但未答复)的问题:

• word2vec:求和/连接向量内部和外部
• 为什么我们使用输入隐藏权重矩阵作为单词向量而不是隐藏输出权重矩阵？

Answer 1

我在斯坦福讲座“自然语言处理的深度学习”（第 2 课，2016 年 3 月）中找到了答案。它可以在这里找到。在第 46 分钟中，Richard Socher 指出常用的方法是对两个词向量求平均。