神经网络迷你批次梯度下降

Question

我正在使用多层神经网络。我打算做小批量梯度下降。假设我有100个超过100万个数据点的微型批次。我不了解我必须更新整个网络权重的部分。当我对这100个样本进行前向传递时，我将对这100个样本的所有误差求和。除此之外，我还能做什么？我也必须同时计算隐藏层错误吗？什么时候计算它们？

Answer 1

神经网络中的批量学习

您必须为（选择的）数据集中的每个数据实例计算网络中所有层中每个神经元的权重增量。这与反向传播中的过程相同。

由于您希望使用批量学习，因此将延迟权重更新步骤。相反，您应该存储这些增量，并在批次完成后将批次中不同实例的增量相加。然后使用这些新操纵的增量来更新网络中的权重。