关于如何在 TF 中单独使用 LSTM 的例子有很多，但我找不到任何关于如何联合训练 CNN + LSTM 的好例子。就我所见，如何进行此类培训并不是很简单，我可以在这里想到一些选择：
- 首先，我认为最简单的解决方案（或最原始的解决方案）是独立训练 CNN 来学习特征，然后在不更新 CNN 部分的情况下在 CNN 特征上训练 LSTM，因为人们可能必须在 numpy 中提取和保存这些特征然后将它们馈送到 TF 中的 LSTM。但在那种情况下，人们可能不得不使用不同标记的数据集来进行 CNN 的预训练，这消除了端到端训练的优势，即学习 LSTM 目标的最终目标的特征（除了必须拥有这些首先是附加标签）。
- 第二种选择是连接批量维度（4-d Tensor）中的所有时间片，将其提供给 CNN，然后以某种方式将这些特征重新打包为训练 LSTM 所需的 5-d Tensor，然后应用成本函数。我主要关心的是，是否有可能做这样的事情。此外，处理可变长度序列变得有点棘手。例如，在预测场景中，您一次只能提供单帧。因此，如果这是进行联合训练的正确方式，我会很高兴看到一些示例。除此之外，这个解决方案看起来更像是一个黑客，因此，如果有更好的方法，如果有人可以分享它会很棒。
先感谢您 ！