什么是Caffe中的'lr_policy`？

Question

我只是试着找出如何使用Caffe.为此,我只是看了一下.prototxt示例文件夹中的不同文件.有一个我不明白的选择:

# The learning rate policy
lr_policy: "inv"

可能的值似乎是:

• "fixed"
• "inv"
• "step"
• "multistep"
• "stepearly"
• "poly"

有人可以解释一下这些选择吗？

Answer 1

随着优化/学习过程的进行,降低学习率(lr)是常见的做法.但是,不清楚学习率应该如何根据迭代次数减少.

如果您使用DIGITS作为Caffe的界面,您将能够直观地看到不同的选择如何影响学习率.

固定:在整个学习过程中保持学习率固定.

inv:学习率下降为〜1/T

步骤:学习速率是分段常数,每X次迭代丢弃

multistep:任意间隔的分段常数

您可以准确地看到如何在函数中计算学习速率SGDSolver<Dtype>::GetLearningRate(solvers/sgd_solver.cpp line~30).

最近,我发现了一种有趣且非常规的学习速率调整方法:Leslie N. Smith的作品"没有更多的麻烦学习率猜测游戏".莱斯利在他的报告中建议lr_policy在降低和提高学习率之间使用替代方案.他的工作还建议如何在Caffe中实施这一政策.

Answer 2

如果你查看/caffe-master/src/caffe/proto/caffe.proto文件(你可以在这里找到它),你会看到以下描述:

// The learning rate decay policy. The currently implemented learning rate
// policies are as follows:
//    - fixed: always return base_lr.
//    - step: return base_lr * gamma ^ (floor(iter / step))
//    - exp: return base_lr * gamma ^ iter
//    - inv: return base_lr * (1 + gamma * iter) ^ (- power)
//    - multistep: similar to step but it allows non uniform steps defined by
//      stepvalue
//    - poly: the effective learning rate follows a polynomial decay, to be
//      zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)
//    - sigmoid: the effective learning rate follows a sigmod decay
//      return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
//
// where base_lr, max_iter, gamma, step, stepvalue and power are defined
// in the solver parameter protocol buffer, and iter is the current iteration.