小编Kie*_*son的帖子

反向传播激活衍生物

我已按照此视频中的说明实施了反向传播. https://class.coursera.org/ml-005/lecture/51

这似乎成功,通过梯度检查,并允许我训练MNIST数字.

但是,我注意到反向传播的大多数其他解释都将输出增量计算为

d =(a - y)*f'(z) http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm

而视频使用.

d =(a - y).

当我将delta乘以激活导数(S形导数)时,我不再以梯度检查的相同梯度结束(差异至少为一个数量级).

什么允许Andrew Ng(视频)省略输出增量的激活衍生物?为什么它有效?然而,当添加导数时,会计算出不正确的梯度?

编辑

我现在已经在输出上测试了线性和sigmoid激活函数,只有在我使用Ng的delta方程(没有sigmoid导数)时才进行梯度检查.

activation derivative backpropagation delta

9
推荐指数
1
解决办法
1866
查看次数

Fortran没有给出数组赋值错误

我在这里有一些测试代码没有像我怀疑的那样.我正在使用gfortran编译器.

program test
implicit none

integer, allocatable, dimension(:) :: a
integer, allocatable, dimension(:) :: b

allocate(a(2))
allocate(b(4))

a = 1
b = 2
write(*,*) a
write(*,*) ' '
write(*,*) b
write(*,*) ' '
write(*,*) 'a size before', size(a)

a = b
a = 1

write(*,*) a
write(*,*) ' '
write(*,*) b
write(*,*) ' '
write(*,*) 'a size after', size(a) 
end program test
Run Code Online (Sandbox Code Playgroud)

我得到以下输出.

1 1

2 2 2 2

2之前的大小

1 1 1 1

2 2 2 2

4之后的大小

为什么在分配不同尺寸的数组时没有出错?为什么改变了大小?

arrays size fortran dynamic variable-assignment

5
推荐指数
1
解决办法
189
查看次数