Pytorch 网络参数计算

Question

有人能告诉我网络参数 (10) 是如何计算的吗？提前致谢。

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()

        self.conv1 = nn.Conv2d(1, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16*5*5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(x.size()[0], -1)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

net = Net()
print(net)
print(len(list(net.parameters())))

输出：

Net(
  (conv1): Conv2d (1, 6, kernel_size=(5, 5), stride=(1, 1))
  (conv2): Conv2d (6, 16, kernel_size=(5, 5), stride=(1, 1))
  (fc1): Linear(in_features=400, out_features=120)
  (fc2): Linear(in_features=120, out_features=84)
  (fc3): Linear(in_features=84, out_features=10)
)
10

最好的，扎克

Answer 1

PyTorch 中的大多数层模块（例如 Linear、Conv2d 等）将参数分组到特定类别中，例如权重和偏差。网络中的五个层实例中的每一个都有一个“权重”和一个“偏差”参数。这就是打印“10”的原因。

当然，所有这些“权重”和“偏差”字段都包含许多参数。例如，您的第一个全连接层self.fc1包含16 * 5 * 5 * 120 = 48000参数。所以len(params)不会告诉你网络中参数的数量——它只给你网络中参数“分组”的总数。