Fra*_*nva 6 machine-learning pytorch fast-ai
在第 3 课 - 行星中,我看到了以下两行代码:
lr = 0.01
learn.fit_one_cycle(5, slice(lr))
Run Code Online (Sandbox Code Playgroud)
如果 slice(min_lr, max_lr) 那么我理解 fit_one_cycle() 将使用 slice(min_lr, max_lr) 的扩展学习率。(希望我对此的理解是正确的)
但在这种情况下 slice(lr) 只有一个参数,
fit_one_cycle(5, lr)和fit_one_cycle(5, slice(lr))之间有什么区别 ?直接使用 slice(lr) 而不是 lr 有什么好处?
Jeremy 花了一些时间来解释第 5 课中 slice 的作用。
我的理解是 fastai.vision 模块将架构分为 3 组,并根据您输入的内容以可变的学习率训练它们。(起始层通常不需要参数的大变化)
此外,如果您使用“fit_one_cycle”,所有组都将使用各自的变量学习进行学习率退火。
检查第 5 课https://course.fast.ai/videos/?lesson=5(使用成绩单查找器快速转到“切片”部分)
| 归档时间: |
|
| 查看次数: |
2348 次 |
| 最近记录: |