FastAi 在 fit_one_cycle() 中 slice(lr) 做了什么

Fra*_*nva 6 machine-learning pytorch fast-ai

第 3 课 - 行星中,我看到了以下两行代码:

lr = 0.01
learn.fit_one_cycle(5, slice(lr))
Run Code Online (Sandbox Code Playgroud)

如果 slice(min_lr, max_lr) 那么我理解 fit_one_cycle() 将使用 slice(min_lr, max_lr) 的扩展学习率。(希望我对此的理解是正确的)

但在这种情况下 slice(lr) 只有一个参数,

fit_one_cycle(5, lr)fit_one_cycle(5, slice(lr))之间有什么区别 ?直接使用 slice(lr) 而不是 lr 有什么好处?

har*_*045 8

Jeremy 花了一些时间来解释第 5 课中 slice 的作用。

我的理解是 fastai.vision 模块将架构分为 3 组,并根据您输入的内容以可变的学习率训练它们。(起始层通常不需要参数的大变化)

此外,如果您使用“fit_one_cycle”,所有组都将使用各自的变量学习进行学习率退火。

检查第 5 课https://course.fast.ai/videos/?lesson=5(使用成绩单查找器快速转到“切片”部分)

  • 注意:更新后的课程,现在是第 6 课:https://course.fast.ai/videos/?lesson=6 (3认同)