小编Liy*_*ang的帖子

我应该在交叉熵之前应用 softmax 吗?

pytorch教程 ( https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10-tutorial-py ) 在 CIFAR 数据集上训练卷积神经网络 (CNN)。

    class Net(nn.Module):
        def __init__(self):
            super(Net, self).__init__()
            self.conv1 = nn.Conv2d(3, 6, 5)
            self.pool = nn.MaxPool2d(2, 2)
            self.conv2 = nn.Conv2d(6, 16, 5)
            self.fc1 = nn.Linear(16 * 5 * 5, 120)
            self.fc2 = nn.Linear(120, 84)
            self.fc3 = nn.Linear(84, 10)

        def forward(self, x):
            x = self.pool(F.relu(self.conv1(x)))
            x = self.pool(F.relu(self.conv2(x)))
            x = x.view(-1, 16 * 5 * 5)
            x = F.relu(self.fc1(x))
            x = F.relu(self.fc2(x))
            x = self.fc3(x)
            return x 
Run Code Online (Sandbox Code Playgroud)

网络看起来不错,除了最后一层fc3,它预测属于 10 个类的概率,而没有 softmax。在计算交叉熵损失之前,我们不应该先应用 …

cross-entropy pytorch

3
推荐指数
1
解决办法
2435
查看次数

标签 统计

cross-entropy ×1

pytorch ×1