与亚当的训练在每个时期都变慢

Question

我正在Keras上训练一个简单的神经网络，其中Theano后端由4个密集层组成，这些密集层连接到Merge层，然后再连接到softmax分类器层。使用Adam进行训练，前几个时期每个训练约60s（在CPU中），但是此后，每个时期的训练时间开始增加，到第70个时期要花费超过400s，使其无法使用。

我的代码有什么问题吗？或者这可能会发生？

这仅在使用Adam时发生，而不与sgd，adadelta，rmsprop或adagrad一起使用。我会使用其他任何方法，但是Adam会产生更好的结果。

代码：

modela = Sequential()
modela.add(Dense(700, input_dim=40, init='uniform', activation='relu'))
modelb = Sequential()
modelb.add(Dense(700, input_dim=40, init='uniform', activation='relu'))
modelc = Sequential()
modelc.add(Dense(700, input_dim=40, init='uniform', activation='relu'))
modeld = Sequential()
modeld.add(Dense(700, input_dim=40, init='uniform', activation='relu'))

model = Sequential()
model.add(Merge([modela, modelb, modelc, modeld], mode='concat', concat_axis=1))
model.add(Dense(258, init='uniform', activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

hist = model.fit([Xa, Xb, Xc, Xd], Ycat, validation_split=.25, nb_epoch=80, batch_size=100, verbose=2)