当我使用预训练的单词向量进行LSTM分类时,我想知道如何处理在张量流中嵌入大于2gb的查找表.
为此,我试图像下面的代码一样嵌入查找表,
data = tf.nn.embedding_lookup(vector_array, input_data)
得到这个值错误.
ValueError: Cannot create a tensor proto whose content is larger than 2GB
代码上的变量vector_array是numpy数组,它包含每个单词大约1400万个唯一标记和100维单词向量.
谢谢你的帮助