相关疑难解决方法(0)

如何在pytorch中手动应用渐变

开始学习 pytorch 并尝试做一些非常简单的事情,尝试将大小为 5 的随机初始化向量移动到值 [1,2,3,4,5] 的目标向量。

但我的距离并没有减少!!而我的矢量x只是发疯了。不知道我错过了什么。

import torch
import numpy as np
from torch.autograd import Variable

# regress a vector to the goal vector [1,2,3,4,5]

dtype = torch.cuda.FloatTensor # Uncomment this to run on GPU

x = Variable(torch.rand(5).type(dtype), requires_grad=True)
target = Variable(torch.FloatTensor([1,2,3,4,5]).type(dtype), 
requires_grad=False)
distance = torch.mean(torch.pow((x - target), 2))

for i in range(100):
  distance.backward(retain_graph=True)
  x_grad = x.grad
  x.data.sub_(x_grad.data * 0.01)
Run Code Online (Sandbox Code Playgroud)

mathematical-optimization pytorch autograd

6
推荐指数
1
解决办法
4004
查看次数