相关疑难解决方法(0)

找不到就地操作:梯度计算所需的变量之一已被就地操作修改

我正在尝试计算网络 jacobian 上的损失(即执行双重反向传播),并且出现以下错误:RuntimeError:梯度计算所需的变量之一已被原位操作修改

我在我的代码中找不到就地操作,所以我不知道要修复哪一行。

*错误发生在最后一行:loss3.backward()

            inputs_reg = Variable(data, requires_grad=True)
            output_reg = self.model.forward(inputs_reg)

            num_classes = output.size()[1]
            jacobian_list = []
            grad_output = torch.zeros(*output_reg.size())

            if inputs_reg.is_cuda:
                grad_output = grad_output.cuda()
                jacobian_list = jacobian.cuda()

            for i in range(10):

                zero_gradients(inputs_reg)
                grad_output.zero_()
                grad_output[:, i] = 1
                jacobian_list.append(torch.autograd.grad(outputs=output_reg,
                                                  inputs=inputs_reg,
                                                  grad_outputs=grad_output,
                                                  only_inputs=True,
                                                  retain_graph=True,
                                                  create_graph=True)[0])


            jacobian = torch.stack(jacobian_list, dim=0)
            loss3 = jacobian.norm()
            loss3.backward()
Run Code Online (Sandbox Code Playgroud)

backpropagation pytorch

2
推荐指数
2
解决办法
1万
查看次数

标签 统计

backpropagation ×1

pytorch ×1