Tensorflow何时更新权重和偏差?

Lio*_*Lai 7 python tensorflow

tensorflow何时更新for循环中的权重和偏差?

下面是来自tf的github的代码.mnist_softmax.py

for _ in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
Run Code Online (Sandbox Code Playgroud)
  1. 张量流何时更新权重和偏差?
  2. 它在运行时是否更新它们sess.run()?如果是这样,在这个程序中,是否意味着更新权重和偏差1000倍?
  3. 或者在完成整个for循环后更新它们?
  4. 如果2.是正确的,我的下一个问题是,每次都使用不同的训练数据来更新模型(因为它使用了next_batch(100).总共有1000*100个训练数据点.但是所有数据点只考虑一次我是否正确或是否误解了某些事情?
  5. 如果3.是正确的,那么在经过一次更新步骤后,模型是否经过训练是否很奇怪?我想我一定是在误解一些东西,如果有人能给我一些提示或者提一些材料,那真的很棒.

Lak*_*arg 7

  1. 每次运行时都会更新权重train_step.
  2. 是的,它正在此程序中更新权重1000次.
  3. 往上看
  4. 是的,你是对的,它一次加载一个包含100个点的小批量并用它来计算渐变.
  5. 这根本不奇怪.您不一定需要反复查看相同的数据,所需要的只是您有足够的数据供网络收敛.如果需要,您可以在相同的数据上多次迭代,但由于此模型没有很多参数,因此它会聚在一个时期内.

Tensorflow通过创建计算网络输出所需的计算图来工作.每个基本操作,如矩阵乘法,加法,你能想到的任何东西都是这个计算图中的节点.在您关注的tensorflow mnist示例中,40-46的行定义了网络体系结构

  • x:占位符
  • y_:占位符
  • W:变量 - 这是在训练期间学习的
  • b:变量 - 这也是在训练期间学习的

网络表示简单的线性回归模型,其中使用y = W*x + b(参见第43行)进行预测.

接下来,配置网络的培训过程.该代码使用交叉熵作为最小化的损失函数(见第57行).使用梯度下降算法完成最小化(参见第59行).

此时,您的网络已完全构建.现在,您需要运行这些节点,以便执行实际计算(直到此时才执行计算).

在sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})执行的循环中,tf计算其值train_step使GradientDescentOptimizer尝试最小化cross_entropy,这就是训练进展的方式.