Tensorflow MNIST(权重和偏差变量)

Question

我正在学习如何使用Tensorflow和MNIST教程,但我在本教程的某个方面阻止了.

这是提供的代码:

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x, W) + b)
y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
saver = tf.train.Saver()
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)
for i in range(1000):
  batch_xs, batch_ys = mnist.train.next_batch(100)
  sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

但实际上我根本不明白变量"W"(重量)和"b"(偏差)是如何在计算时改变的？在每个批次上,它们初始化为零,但之后？我根本没有看到他们将要改变的代码在哪里？

非常感谢你提前!

Answer 1

TensorFlow 变量保持从一次run()调用到下一次调用的状态.在您的程序中,它们将初始化为零,然后在训练循环中逐步更新.

更改变量值的代码由此行隐式创建:

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

在TensorFlow中,a tf.train.Optimizer是一个创建更新变量的操作的类,通常基于相对于这些变量的一些张量(例如,损失)的梯度.默认情况下,当您调用时Optimizer.minimize(),TensorFlow会创建操作以更新给定张量(在本例中)所依赖的所有变量cross_entropy.

当您调用时sess.run(train_step),它会运行包含这些更新操作的图形,因此指示TensorFlow更新变量的值.