CNN:从word2vec初始化未知单词

Question

我偶然发现了这些幻灯片,关于CNN使用word2vec来介绍CNN:http://www.people.fas.harvard.edu/~yoonkim/data/Kim_EMNLP_2014_slides.pdf

在幻灯片20上,第四个要点是:

Words not in word2vec are initialized randomly from U[?a, a] 
where a is chosen such that the unknown words have the
same variance as words already in word2vec.

现在我想知道如何计算"a"以及如何计算完全未知单词的整个向量.

Answer 1

根据Mikolov自己的回答,您可以根据不常用单词描述的空间初始化向量.在他的回答中,他提到你应该对不频繁的单词进行平均,并以这种方式构建未知的标记.

跟进这个想法,我认为a指的是不常用的单词空间的半径.你可以做的是得到不频繁单词的质心C(通过平均值),计算不频繁向量空间Q的直径2*a,并通过位于Q内的均匀分布的样本生成随机向量u.