Pytorch的LSTM

Question

我是PyTorch的新手.我遇到了一些包含各种不同示例的GitHub存储库(链接到完整代码示例).

还有一个关于LSTM的例子,这是Network类:

# RNN Model (Many-to-One)
class RNN(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(RNN, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, num_classes)

    def forward(self, x):
        # Set initial states 
        h0 = Variable(torch.zeros(self.num_layers, x.size(0), self.hidden_size)) 
        c0 = Variable(torch.zeros(self.num_layers, x.size(0), self.hidden_size))

        # Forward propagate RNN
        out, _ = self.lstm(x, (h0, c0))  

        # Decode hidden state of last time step
        out = self.fc(out[:, -1, :])  
        return out

所以我的问题是关于以下几行:

h0 = Variable(torch.zeros(self.num_layers, x.size(0), self.hidden_size)) 
c0 = Variable(torch.zeros(self.num_layers, x.size(0), self.hidden_size))

据我所知,forward()每个训练样例都需要它.但这意味着,隐藏状态和单元状态将被重置,即在每个训练示例中用零矩阵替换.

这些名称h0并c0指出这只是t = 0时的隐藏/单元状态,但为什么这些零的矩阵在每个训练样例中都移交给了lstm？

即使它们在第一次调用后被忽略,也不是一个非常好的解决方案.

在测试代​​码时,它表明MNIST集合的准确率为97%,因此它似乎以这种方式工作,但它对我没有意义.

希望有人可以帮我解决这个问题.

提前致谢!

Answer 1

显然我对此走错了路.我混淆了隐藏的单位和隐藏/细胞状态.在训练步骤中仅训练LSTM中的隐藏单元.在每个序列的开始处重置细胞状态和隐藏状态.因此,以这种方式进行编程才有意义.

非常遗憾..