我正在使用TensorFlow构建一个深度学习模型.TensorFlow的新手.
由于某种原因,我的模型具有有限的批量大小,然后这种有限的批量大小将使模型具有高的方差.
所以,我想用一些技巧来增加批量.我的想法是存储每个小批量的渐变,例如64个小批量,然后将渐变相加,使用这64个小批量训练数据的平均梯度来更新模型的参数.
这意味着对于前63个小批量,不更新参数,并且在64小批量之后,仅更新模型的参数一次.
但由于TensorFlow是基于图形的,有谁知道如何实现这个想要的功能？
非常感谢.
python gradient tensorflow
gradient ×1
python ×1
tensorflow ×1