我正在尝试为Keras模型提供一个巨大的稀疏矩阵.由于数据集不适合RAM,因此方法是在生成器逐批生成的数据上训练模型.
为了测试这种方法并确保我的解决方案正常工作,我在路透社新闻专题主题分类任务中略微修改了Kera的简单MLP.因此,我们的想法是比较原始模型和编辑模型.我只是将numpy.ndarray转换为scipy.sparse.csr.csr_matrix并将其提供给模型.
但我的模型在某些时候崩溃了,我需要一只手找出原因.
这是原始模型和我在下面添加的内容
from __future__ import print_function
import numpy as np
np.random.seed(1337) # for reproducibility
from keras.datasets import reuters
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation
from keras.utils import np_utils
from keras.preprocessing.text import Tokenizer
max_words = 1000
batch_size = 32
nb_epoch = 5
print('Loading data...')
(X_train, y_train), (X_test, y_test) = reuters.load_data(nb_words=max_words, test_split=0.2)
print(len(X_train), 'train sequences')
print(len(X_test), 'test sequences')
nb_classes = np.max(y_train)+1
print(nb_classes, 'classes')
print('Vectorizing sequence data...')
tokenizer = Tokenizer(nb_words=max_words)
X_train = tokenizer.sequences_to_matrix(X_train, …