我正在为NLP任务构建TensorFlow模型,我正在使用预训练的Glove 300d字矢量/嵌入数据集.
显然,一些令牌不能被解析为嵌入,因为未包含在用于单词矢量嵌入模型的训练数据集中,例如稀有名称.
我可以用0的向量替换那些令牌,但不是将这些信息丢弃在地板上,我更喜欢以某种方式对其进行编码并包含在我的训练数据中.
说,我有'raijin'这个词,它无法解析为嵌入向量,用Glove嵌入数据集一致地编码它的最佳方法是什么?将它转换为300d向量的最佳方法是什么?
谢谢.
embedding tensorflow word-embedding
embedding ×1
tensorflow ×1
word-embedding ×1