Pas*_*sdf 11 machine-learning neural-network deep-learning caffe conv-neural-network
我认为批量大小仅用于性能.批次越大,同时计算更多图像来训练我的网.但我意识到,如果我改变批量大小,我的净准确度会变得更好.所以我不明白批量是多少.有人可以解释一下批量大小是多少？
Sha*_*hai 19
使用随机 - 梯度 - 下降(SGD)训练Caffe :即,在每次迭代时,它计算训练数据的参数的(随机)梯度,并在梯度的方向上移动(=改变参数).
现在,如果您编写渐变训练数据的方程式,您会注意到为了精确计算梯度,您需要在每次迭代时评估所有训练数据:这非常耗时,尤其是当训练数据变大时更大.
为了克服这一点,SGD以随机方式通过在每次迭代中仅采样一小部分训练数据来近似精确梯度.这一小部分是批次.
因此,批量大小越大,每次迭代的梯度估计越准确.
TL; DR:批量大小影响每次迭代时估计梯度的准确性,因此改变批量大小会影响优化所采用的"路径",并可能改变训练过程的结果.
| 归档时间： |
|
| 查看次数： |
3522 次 |
| 最近记录： |