从tf.train.AdamOptimizer获取当前的学习率

Question

我想打印出我的nn每个训练步骤的学习率.

我知道亚当有一个自适应学习率,但有没有办法可以看到这个(对于张量板中的可视化)

Answer 1

所有优化器都有一个私有变量,它保存学习速率的值.

在adagrad和梯度下降中它被称为self._learning_rate.在亚当它是self._lr.

因此,您只需要打印sess.run(optimzer._lr)即可获得此值.需要Sess.run,因为它们是张量.

Answer 2

Sung Kim的建议对我有用,我的确切步骤是:

lr = 0.1
step_rate = 1000
decay = 0.95

global_step = tf.Variable(0, trainable=False)
increment_global_step = tf.assign(global_step, global_step + 1)
learning_rate = tf.train.exponential_decay(lr, global_step, step_rate, decay, staircase=True)

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate, epsilon=0.01)
trainer = optimizer.minimize(loss_function)

# Some code here

print('Learning rate: %f' % (sess.run(trainer ._lr)))