ace*_*ner 1 machine-learning neural-network deep-learning
我是神经网络的新手,想知道什么时候我应该降低学习率而不是批量大小.
我会理解,如果学习有所不同,学习率必须降低.
但是,何时减少或增加批量大小？我的猜测是,如果损失波动太大,那么减小批量大小是理想的吗？
Rob*_*ess 5
如果增加批量大小,则渐变更可能指向正确的方向,以便(整体)误差减小.特别是与仅考虑导致非常随机和噪声梯度的单个示例之后更新权重相比.
因此,如果损失函数波动,您可以同时执行以下操作:增加批量大小并降低学习率.批量大的缺点是每次更新的计算成本更高.因此,如果培训时间过长,请查看它是否仍然以较小的批量大小收敛.
您可以在这里或这里阅读更多内容.(顺便说一句,https://stats.stackexchange.com/ 更适合于不包含特定代码实现的理论问题)
归档时间：
10 年，4 月 前
查看次数：
1663 次
最近记录：