如何在没有优化器的情况下将梯度设置为零？

Question

在多次.backward()传递之间，我想将梯度设置为零。现在我必须分别为每个组件执行此操作（这里是x和t），有没有办法对所有受影响的变量“全局”执行此操作？（我想像这样的东西z.set_all_gradients_to_zero()。）

我知道optimizer.zero_grad()如果您使用优化器，但是否还有不使用优化器的直接方法？

import torch

x = torch.randn(3, requires_grad = True)
t = torch.randn(3, requires_grad = True)
y = x + t
z = y + y.flip(0)

z.backward(torch.tensor([1., 0., 0.]), retain_graph = True)
print(x.grad)
print(t.grad)
x.grad.data.zero_()  # both gradients need to be set to zero 
t.grad.data.zero_()
z.backward(torch.tensor([0., 1., 0.]), retain_graph = True)
print(x.grad)
print(t.grad)

Answer 1

您也可以使用nn.Module.zero_grad(). 实际上，optim.zero_grad()只是调用nn.Module.zero_grad()传递给它的所有参数。

没有合理的方法可以在全球范围内做到这一点。您可以在列表中收集变量

grad_vars = [x, t]
for var in grad_vars:
    var.grad.data = None

或者基于vars(). 也许也可以检查计算图并将所有叶节点的梯度归零，但我对图形 API 不熟悉。长话短说，您应该使用面向对象的界面，torch.nn而不是手动创建张量变量。