LSTM 单元如何映射到层？

Question

我无法准确理解 LSTM 单元的范围——它如何映射到网络层。来自格雷夫斯 (2014)：

在我看来，在单层网络中，layer = lstm 单元。这实际上如何在多层 rnn 中工作？

三层RNN

LSTM单元

单元格的输出是h_t，没有表示特定层的超级索引。等式也是一样。每个单元格是否跨越单个层？或者每个单元格是否在每个时间步跨越整个三个节点？

Answer 1

图 1 中具有名称的每个节点h代表一个 LSTM 单元。请注意h_{t-1}， 、h{t}和h{t+1}具有相同的超级索引，是相同的单元格。它们只是及时展开。然而，不同的超级索引代表不同的 LSTM 单元。

超级索引为 2 或 3 的单元格的输入不仅是数据样本x，而且还是前一个单元格的输出。

你是对的。单层 RNN 网络由一个 LSTM 单元组成。在多层 RNN 情况下，中间 LSTM 单元的输入是前一个 LSTM 单元的输出。在图 1 中，数据样本x也与 LSTM 输出一起馈送。