小编sav*_*n77的帖子

我刚开始学习深度学习.当发现梯度下降时,我发现自己陷入困境.我知道如何实现批量梯度下降.我知道它是如何工作的,理论上小批量和随机梯度下降是如何工作的.但实在无法理解如何在代码中实现.

import numpy as np
X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
alpha,hidden_dim = (0.5,4)
synapse_0 = 2*np.random.random((3,hidden_dim)) - 1
synapse_1 = 2*np.random.random((hidden_dim,1)) - 1
for j in xrange(60000):
    layer_1 = 1/(1+np.exp(-(np.dot(X,synapse_0))))
    layer_2 = 1/(1+np.exp(-(np.dot(layer_1,synapse_1))))
    layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))
    layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))
    synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))
    synapse_0 -= (alpha * X.T.dot(layer_1_delta))

这是ANDREW TRASK博客的示例代码.它体积小,易于理解.此代码实现批量梯度下降,但我想在此示例中实现小批量和随机梯度下降.我怎么能这样做？我必须在此代码中添加/修改以分别实现小批量和随机梯度下降？你的帮助对我很有帮助.在此先感谢.(我知道这个示例代码的示例很少,而我需要将大型数据集分成小批量.但我想知道如何实现它)