相关疑难解决方法(0)

初始化词汇表外(OOV)令牌

我正在为NLP任务构建TensorFlow模型,我正在使用预训练的Glove 300d字矢量/嵌入数据集.

显然,一些令牌不能被解析为嵌入,因为未包含在用于单词矢量嵌入模型的训练数据集中,例如稀有名称.

我可以用0的向量替换那些令牌,但不是将这些信息丢弃在地板上,我更喜欢以某种方式对其进行编码并包含在我的训练数据中.

说,我有'raijin'这个词,它无法解析为嵌入向量,用Glove嵌入数据集一致地编码它的最佳方法是什么?将它转换为300d向量的最佳方法是什么?

谢谢.

embedding tensorflow word-embedding

1
推荐指数
1
解决办法
2418
查看次数

标签 统计

embedding ×1

tensorflow ×1

word-embedding ×1