无法在TensorFlow中收集GradientDescentOptimizer的渐变

Question

我一直在试图收集了以内TensorFlow的GradientDescentOptimizer的每一步梯度的步骤,但我一直运行到一个类型错误时,我尝试过的结果apply_gradients()来sess.run().我正在尝试运行的代码是:

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

x = tf.placeholder(tf.float32,[None,784])
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x,W)+b)
y_ = tf.placeholder(tf.float32,[None,10])
cross_entropy = -tf.reduce_sum(y_*log(y))

# note that up to this point, this example is identical to the tutorial on tensorflow.org

gradstep = tf.train.GradientDescentOptimizer(0.01).compute_gradients(cross_entropy)

sess = tf.Session()
sess.run(tf.initialize_all_variables())
batch_x,batch_y = mnist.train.next_batch(100)
print sess.run(gradstep, feed_dict={x:batch_x,y_:batch_y})

需要注意的是,如果我替换的最后一行print sess.run(train_step,feed_dict={x:batch_x,y_:batch_y}),在那里train_step = tf.GradientDescentOptimizer(0.01).minimize(cross_entropy),则不会引发错误.我的困惑来自于minimize调用compute_gradients与第一步完全相同的参数.有人能解释为什么会出现这种情况吗

Answer 1

该Optimizer.compute_gradients()方法返回(Tensor,Variable)对的列表,其中每个张量是相对于相应变量的梯度.

Session.run()期望一个Tensor对象列表(或可转换为a的对象Tensor)作为其第一个参数.它不理解如何处理对的列表,因此你得到一个TypeError你试图运行的sess.run(gradstep, ...)

正确的解决方案取决于您要做的事情.如果要获取所有渐变值,可以执行以下操作:

grad_vals = sess.run([grad for grad, _ in gradstep], feed_dict={x: batch_x, y: batch_y})

# Then, e.g., nuild a variable name-to-gradient dictionary.
var_to_grad = {}
for grad_val, (_, var) in zip(grad_vals, gradstep):
    var_to_grad[var.name] = grad_val

如果您还想获取变量,可以单独执行以下语句:

sess.run([var for _, var in gradstep])

...虽然注意到 - 如果不对程序进行进一步修改 - 这将只返回每个变量的初始值.您必须运行优化程序的训练步骤(或以其他方式调用Optimizer.apply_gradients())来更新变量.