我创建了一个 2 层 LSTM 模型，我想在最近转储的英文维基百科文章（15.1 GB 文本）上对其进行训练。我无法将语料库加载到文本变量中以进行单词嵌入。Keras RNN 模型通常如何在如此庞大的文本语料库上进行训练以避免内存错误？
尝试使用以下命令打开 15.1 GB 文件后：
text = open('/home/connor/Desktop/wiki_en.txt').read().lower()
我收到此错误消息：
（结果，消耗）= self._buffer_decode（数据，self.errors，最终）MemoryError