Pytorch 中的前向函数输出究竟是什么？

Question

此示例逐字取自PyTorch 文档。现在我确实对深度学习有了一些一般的背景，并且知道很明显forward调用代表一个前向传递，通过不同的层并最终到达终点，在这种情况下有 10 个输出，然后你取前向传递并loss使用定义的损失函数计算。现在，我忘记了forward()在这种情况下传递的输出到底是什么......我认为神经网络中的最后一层应该是某种激活函数，例如sigmoid()or softmax()，但我没有看到这些被定义在任何地方，此外，我现在做项目的时候才发现softmax()稍后调用。所以我只想澄清到底outputs = net(inputs)给我的是什么，从这个链接，在我看来，默认情况下 PyTorch 模型的前向传递的输出是 logits？请帮我清理一些空气，如果我的问题不好，请告诉我并指出正确的方向:)

transform = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=2)

import torch.nn as nn
import torch.nn.functional as F


class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x


net = Net()

import torch.optim as optim

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

for epoch in range(2):  # loop over the dataset multiple times

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # get the inputs; data is a list of [inputs, labels]
        inputs, labels = data

        # zero the parameter gradients
        optimizer.zero_grad()

        # forward + backward + optimize
        outputs = net(inputs)
        print(outputs)
        break
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        # print statistics
        running_loss += loss.item()
        if i % 2000 == 1999:    # print every 2000 mini-batches
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Finished Training')

Answer 1

在我看来，默认情况下 PyTorch 模型的前向传递的输出是 logits

正如我从前向传递中看到的，是的，您的函数正在传递原始输出

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

那么，softmax 在哪里呢？就在这儿：

criterion = nn.CrossEntropyLoss()

它有点掩饰，但在这个函数内部处理了softmax 计算，当然，它与最后一层的原始输出一起使用

这是 softmax 计算：

其中 z_i 是神经网络的原始输出

因此，总而言之，您的最后一个输入中没有激活函数，因为它是由nn.CrossEntropyLoss类处理的

回答来自的原始输出是什么nn.Linear：神经网络层的原始输出是来自前一层神经元的值的线性组合