运行时错误：张量 a (133) 的大小必须与非单维 1 处的张量 b (10) 的大小匹配

Question

我正在训练一个 CNN 模型。我在为我的模型进行训练迭代时遇到了问题。代码如下：

class Net(nn.Module):

    def __init__(self):
        super(Net, self).__init__()

        #convo layers
        self.conv1 = nn.Conv2d(3,32,3)
        self.conv2 = nn.Conv2d(32,64,3)
        self.conv3 = nn.Conv2d(64,128,3)
        self.conv4 = nn.Conv2d(128,256,3)
        self.conv5 = nn.Conv2d(256,512,3)

        #pooling layer
        self.pool = nn.MaxPool2d(2,2)

        #linear layers
        self.fc1 = nn.Linear(512*5*5,2048)
        self.fc2 = nn.Linear(2048,1024)
        self.fc3 = nn.Linear(1024,133)

        #dropout layer
        self.dropout = nn.Dropout(0.3)
        def forward(self, x):
        #first layer
        x = self.conv1(x)
        x = F.relu(x)
        x = self.pool(x)
        #x = self.dropout(x)
        #second layer
        x = self.conv2(x)
        x = F.relu(x)
        x = self.pool(x)
        #x = self.dropout(x)
        #third layer
        x = self.conv3(x)
        x = F.relu(x)
        x = self.pool(x)
        #x = self.dropout(x)
        #fourth layer
        x = self.conv4(x)
        x = F.relu(x)
        x = self.pool(x)
        #fifth layer
        x = self.conv5(x)
        x = F.relu(x)
        x = self.pool(x)
        #x = self.dropout(x)

        #reshape tensor
        x = x.view(-1,512*5*5)
        #last layer
        x = self.dropout(x)
        x = self.fc1(x)
        x = F.relu(x)
        x = self.dropout(x)
        x = self.fc2(x)
        x = F.relu(x)
        x = self.fc3(x)

        return x

        #loss func
        criterion = nn.MSELoss()
        optimizer = optim.Adam(net.parameters(), lr = 0.0001)
        #criterion = nn.CrossEntropyLoss()
        #optimizer = optim.SGD(net.parameters(), lr = 0.05)

        def train(n_epochs,model,loader,optimizer,criterion,save_path):    
           for epoch in range(n_epochs):
              train_loss = 0
              valid_loss = 0
              #training 
              net.train()
              for batch, (data,target) in enumerate(loaders['train']):
                   optimizer.zero_grad()
                   outputs = net(data)
                   #print(outputs.shape)
                   loss = criterion(outputs,target)
                   loss.backward()
                   optimizer.step()

当我使用 CrossEntropy Loss 函数和 SGD 优化器时，我能够毫无错误地训练模型。当我使用 MSE 损失函数和 Adam 优化器时，我面临以下错误：

RuntimeError Traceback (most recent call last) <ipython-input-20-2223dd9058dd> in <module>
      1 #train the model
      2 n_epochs = 2
----> 3 train(n_epochs,net,loaders,optimizer,criterion,'saved_model/dog_model.pt')

<ipython-input-19-a93d145ef9f7> in train(n_epochs, model, loader, optimizer, criterion, save_path)
     22 
     23             #calculate loss
---> 24             loss = criterion(outputs,target)
     25 
     26             #backward prop

RuntimeError: The size of tensor a (133) must match the size of tensor b (10) at non-singleton dimension 1.

选择的损失函数和优化器是否会影响模型的训练？任何人都可以帮忙吗？

Answer 1

好吧，错误是因为nn.MSELoss()和nn.CrossEntropyLoss()期望不同的input/target组合。您不能在不适当更改输入和目标的情况下简单地更改标准函数。从文档：

nn.CrossEntropyLoss：

• 输入：
  • (N, C) 其中 C = 类数，或
  • (N, C, d_1, d_2, ..., d_K) 在 K 维损失的情况下，K >= 1。
• 目标：
  • (N) 其中每个值都在 [0, C-1] 范围内或
  • (N, d_1, d_2, ..., d_K) 在 K 维损失的情况下，K >= 1。

nn.MSELoss：

• 输入：
  • (N,?) 在哪里？意味着，任意数量的附加维度。
• 目标：
  • (N,?)，与输入相同的形状

如您所见，在 MSELoss 中，Target 期望与输入具有相同的形状，而在 CrossEntropyLoss 中，C维度被删除。您不能使用 MSELoss 作为CrossEntropyLoss 的替代品。

Answer 2

错误消息清楚地表明错误发生在该行

loss = criterion(outputs,target)

您试图计算mean-squared error输入和目标之间的值。请参阅这一行：criterion = nn.MSELoss()。

我认为你应该修改你的代码来估计（输出，目标）输入对之间的损失，即，loss = criterion(outputs,target)如下所示：

loss = criterion(outputs,target.view(1, -1))

在这里，您正在制作与在线模型target相同的形状outputs

outputs = net(data)

这里还需要注意的是net模型的输出，即输出的形状为batch_size X output_channels，其中批量大小如果输入图像的第一个维度在训练期间您将获得批量图像，因此前向方法中的形状将在dim0: ]处获取额外的批量维度[batch_size, channels, height, width，并且ouput_channels是模型中最后一个线性层的输出特征/通道的数量net。

并且，目标标签的形状将为您的情况，请检查batch_size您是否传入了。因此，在使用 重塑它时，它将被转换为形状，即。10batch_sizetorch.utils.data.DataLoader()view(1, -1)1 X batch_size1 X 10

这就是为什么，你会收到错误：

运行时错误：输入和目标形状不匹配：输入 [10 x 133]，目标 [1 x 10]

因此，一种解决方法是替换loss = criterion(outputs,target.view(1, -1))为并将最后一个线性层的loss = criterion(outputs,target.view(-1, 1))更改为而不是。这样， 和shape就相等了，然后我们就可以计算值了。output_channels1133outputstargetMSE

从这里了解有关 pytorchMSE损失函数的更多信息。