在AdamOptimizer中使用动态学习率有意义吗?

Kyr*_*rol 6 deep-learning tensorflow

我正在开发一个卷积神经网络,用于基于三个自己的类进行图像识别.我建立了一个基于AlexNet的模型来训练.我想知道两件事:

  1. AdamOptimizer是否在内部(从固定的给定值)执行学习率衰减?
  2. 如果没有,我可以tf.train.exponential_decay用来进行衰变吗?

很少有人赞赏这些例子.谢谢

bod*_*ser 10

正如您在adam.py 中看到的那样,AdamOptimizer它将调整其学习率.

传递给构造函数的学习速率只是给出了初始值.

所以是的,使用指数衰减AdamOptimizer对梯度下降或动量优化器没有多大意义.请看这里的例子.