我已按照此视频中的说明实施了反向传播. https://class.coursera.org/ml-005/lecture/51
这似乎成功,通过梯度检查,并允许我训练MNIST数字.
但是,我注意到反向传播的大多数其他解释都将输出增量计算为
d =(a - y)*f'(z) http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm
而视频使用.
d =(a - y).
当我将delta乘以激活导数(S形导数)时,我不再以梯度检查的相同梯度结束(差异至少为一个数量级).
什么允许Andrew Ng(视频)省略输出增量的激活衍生物?为什么它有效?然而,当添加导数时,会计算出不正确的梯度?
编辑
我现在已经在输出上测试了线性和sigmoid激活函数,只有在我使用Ng的delta方程(没有sigmoid导数)时才进行梯度检查.
我在这里有一些测试代码没有像我怀疑的那样.我正在使用gfortran编译器.
program test
implicit none
integer, allocatable, dimension(:) :: a
integer, allocatable, dimension(:) :: b
allocate(a(2))
allocate(b(4))
a = 1
b = 2
write(*,*) a
write(*,*) ' '
write(*,*) b
write(*,*) ' '
write(*,*) 'a size before', size(a)
a = b
a = 1
write(*,*) a
write(*,*) ' '
write(*,*) b
write(*,*) ' '
write(*,*) 'a size after', size(a)
end program test
Run Code Online (Sandbox Code Playgroud)
我得到以下输出.
1 1
2 2 2 2
2之前的大小
1 1 1 1
2 2 2 2
4之后的大小
为什么在分配不同尺寸的数组时没有出错?为什么改变了大小?