如何在不破坏反向传播的情况下为 pytorch 变量分配新值？

Question

我有一个 pytorch 变量，用作模型的可训练输入。在某些时候，我需要手动重新分配此变量中的所有值。

如何在不中断与损失函数的连接的情况下做到这一点？

假设当前值是[1.2, 3.2, 43.2]，我只是想让它们变成[1,2,3].

---

编辑

在我问这个问题的时候，我还没有意识到 PyTorch 没有像 Tensorflow 或 Keras 那样的静态图。

在 PyTorch 中，训练循环是手动进行的，您需要在每个训练步骤中调用所有内容。（没有用于稍后提供数据的占位符 + 静态图的概念）。

因此，我们不能“破坏图形”，因为我们将使用新变量再次执行所有进一步的计算。我担心发生在 Keras 中的问题，而不是 PyTorch。

Answer 1

您可以使用data张量的属性来修改值，因为修改data不会影响图形。
所以图形仍然是完整的，data属性本身的修改对图形没有影响。（操作和更改data不会被 autograd 跟踪，因此不会出现在图表中）

由于您没有给出示例，因此此示例基于您的评论语句：
“假设我想更改图层的权重。”
我在这里使用了普通张量，但这对图层的weight.data和bias.data属性也是一样的。

这是一个简短的例子：

import torch
import torch.nn.functional as F



# Test 1, random vector with CE
w1 = torch.rand(1, 3, requires_grad=True)
loss = F.cross_entropy(w1, torch.tensor([1]))
loss.backward()
print('w1.data', w1)
print('w1.grad', w1.grad)
print()

# Test 2, replacing values of w2 with w1, before CE
# to make sure that everything is exactly like in Test 1 after replacing the values
w2 = torch.zeros(1, 3, requires_grad=True)
w2.data = w1.data
loss = F.cross_entropy(w2, torch.tensor([1]))
loss.backward()
print('w2.data', w2)
print('w2.grad', w2.grad)
print()

# Test 3, replace data after computation
w3 = torch.rand(1, 3, requires_grad=True)
loss = F.cross_entropy(w3, torch.tensor([1]))
# setting values
# the graph of the previous computation is still intact as you can in the below print-outs
w3.data = w1.data
loss.backward()

# data were replaced with values from w1
print('w3.data', w3)
# gradient still shows results from computation with w3
print('w3.grad', w3.grad)

输出：

w1.data tensor([[ 0.9367,  0.6669,  0.3106]])
w1.grad tensor([[ 0.4351, -0.6678,  0.2326]])

w2.data tensor([[ 0.9367,  0.6669,  0.3106]])
w2.grad tensor([[ 0.4351, -0.6678,  0.2326]])

w3.data tensor([[ 0.9367,  0.6669,  0.3106]])
w3.grad tensor([[ 0.3179, -0.7114,  0.3935]])

这里最有趣的部分是w3. 当时backward被称为 的值被替换为 的值w1。
但是梯度是基于 CE 函数计算的，原始值w3。替换的值对图形没有影响。所以图连接没有断开，替换对图没有影响。我希望这就是你要找的！