PyTorch GRU返回中处于隐藏状态的层顺序

Question

这是我正在查看的API，https：//pytorch.org/docs/stable/nn.html#gru

它输出：

1. output 形状（seq_len，批处理，num_directions * hidden_​​size）
2. h_n 形状（num_layers * num_directions，批处理，hidden_​​size）

对于具有多个层的GRU，我想知道如何获取最后一层的隐藏状态，应该是h_n[0]还是h_n[-1]？

如果是双向的，该如何切片以获取两个方向上GRU的最后一个隐藏层状态？

Answer 1

nn.GRU文档对此很清楚。这是一个让它更明确的例子：

\n

对于单向 GRU/LSTM（具有多个隐藏层）：

\n

output- 将包含所有时间步的所有输出特征t
\n h_n- 将返回所有层的隐藏状态（在最后一个时间步）。

\n

要获取最后一个隐藏层和最后一个时间步的隐藏状态，请使用：

\n

first_hidden_layer_last_timestep = h_n[0]\nlast_hidden_layer_last_timestep = h_n[-1]\n

\n

其中 n是序列长度。

\n\n

这是因为描述说：

\n

num_layers \xe2\x80\x93 循环层数。例如，设置num_layers=2意味着将两个 GRU 堆叠在一起以形成堆叠的 GRU，第二个 GRU 接收第一个 GRU 的输出并计算最终结果。

\n

因此，以相同的顺序相应地返回结果（即隐藏状态）是自然且直观的。

\n