培训CNN-LSTLM端到端？

Question

已经有许多论文(特别是图像字幕)将CNN和LSTM架构联合用于预测和生成任务.然而,他们似乎都独立于LSTM训练CNN.我正在浏览Torch和TensorFlow(与Keras一起),并且无法找到为什么它不可能进行端到端培训(至少从架构设计的角度来看),但那里似乎不是这种模型的任何文档.

那么,可以做到吗？Torch或TensorFlow(甚至是Theanos或Caffe)是否支持联合训练端到端的CNN-LSTM神经网络？如果是这样,它是否只是简单地将CNN的输出链接到LSTM的输入并运行SGD？或者是否更复杂？

Answer 1

CNN-LSTM模型可以使用tensorflow进行端到端训练

M假设您有一个带有输入的CNN 模型X和一个 LSTM 模型LSTM。这可以进行端到端训练

# here CNN is used to extract meaning features from the input data
features = M(X)
# CNN features are used as input to LSTM
y = LSTM(features)
cost = cost_function(ground_truths, y)

CNN_LSTM-imdb end-end 提供了一个综合示例，展示了用于数据集上的句子分类的 CNN-LSTM 模型的端到端训练。